python实现GATK多线程加速示例
目录
- GATK 变异分析
- 下面的来自网络未验证
GATK 变异分析
对于大数据样本可能会比较慢，因此可以按照染色体拆分后进行多线程并行计算。
下面是我写的一个python多线程脚本，仅供参考，拙劣之处敬请指正。
#!/usr/bin/python3
import _thread
import os
import threading
import time
muthreads=[]
bam_file="a.mkdup.bam"
out_file_prefix="flower"
chr_list=["CHR01","CHR02","CHR03","CHR04","CHR05","CHR06","CHR07","CHR08","CHR09","CHR10","CHR11","CHR12","CHR13"]
for chr in chr_list:
threads_comonder_name= "gatk HaplotypeCaller --intervals " + chr +" -R /mnt/j/BSA/02-read-align/Tifrunner2.fasta -I " + bam_file + " -ERC GVCF -O "+ out_file_prefix +"-"+chr+".erc.g.vcf"
muthreads.append(threads_comonder_name)
exitFlag = 0
class myThread (threading.Thread):
def __init__(self, threadID, name, counter, comander):
threading.Thread.__init__(self)
self.threadID = threadID
self.name = name
self.counter = counter
self.comander = comander
def run(self):
print ("开始线程：" + self.name)
print_time(self.name, self.counter, 5, self.comander)
print ("退出线程：" + self.name)
def print_time(threadName, delay, counter,comander):
# while counter:
if exitFlag:
threadName.exit()
time.sleep(delay)
print(comander)
os.system(comander)#调用操作系统命令行处理数据
# counter -= 1
# 创建新线程
threadlist=[]
for i, threadsnu in enumerate(muthreads[0:11]):
print(i)
print(threadsnu)
threadsnew=myThread(1, "Thread-" + str(i), 2, threadsnu)
threadlist.append(threadsnew)
# 开启新线程
for threads in threadlist:
threads.start()
for threads in threadlist:
threads.join()
print ("运行结束退出主线程")
下面的来自网络未验证
多条染色体的同样本的vcf文件合并
# for i in {1..22} X Y ;do echo "-I final_chr$i.vcf" '\';done
# for i in {10..19} {1..9} M X Y ;do echo "-I final_chr$i.vcf" '\';done
module load java/1.8.0_91
GATK=/home/jianmingzeng/biosoft/GATK/gatk-4.0.3.0/gatk
$GATK GatherVcfs \
-I final_chr1.vcf \
-I final_chr2.vcf \
-I final_chr3.vcf \
-I final_chr4.vcf \
-I final_chr5.vcf \
-I final_chr6.vcf \
-I final_chr7.vcf \
-I final_chr8.vcf \
-I final_chr9.vcf \
-I final_chr10.vcf \
-I final_chr11.vcf \
-I final_chr12.vcf \
-I final_chr13.vcf \
-I final_chr14.vcf \
-I final_chr15.vcf \
-I final_chr16.vcf \
-I final_chr17.vcf \
-I final_chr18.vcf \
-I final_chr19.vcf \
-I final_chr20.vcf \
-I final_chr21.vcf \
-I final_chr22.vcf \
-I final_chrX.vcf \
-I final_chrY.vcf \
-O merge.vcf
合并的时候需要注意，vcf文件的顺序跟每个vcf文件里面头文件顺序是相同的。
以上就是python实现GATK多线程加速示例的详细内容，更多关于python GATK多线程加速的资料请关注我们其它相关文章！
相关推荐
-
python队列基本操作和多线程队列
目录 一.队列基本操作 二.多线程队列 一.队列基本操作 from queue import Queue q = Queue(5) # 创建一个容量为5的队列.如果给一个小于0的数,则队列为无限大小.(这是官方的解释,实际不是无限大小,而是跟内存有关) # 存储数据 q.put(123) # 数值 q.put('hello world!') # 字符串 q.put(['hello', 'world']) # 列表 q.put(('hello', 'world')) # 元组 q.pu
-
详解Python的多线程定时器threading.Timer
threading.Timer 一次timer只生效一次,不会反复循环,如果实现循环触发,代码如下: import time import threading def createTimer(): t = threading.Timer(2, repeat) t.start() def repeat(): print('Now:', time.strftime('%H:%M:%S',time.localtime())) createTimer() createTimer() 这段代码的功能就是每
-
python logging多进程多线程输出到同一个日志文件的实战案例
参考官方案例:https://docs.python.org/zh-cn/3.8/howto/logging-cookbook.html import logging import logging.config import logging.handlers from multiprocessing import Process, Queue import random import threading import time def logger_thread(q): while True:
-
Python 多线程处理任务实例
目录 美餐每天发一个用Excel汇总的就餐数据,我们把它导入到数据库后,行政办公服务用它和公司内的就餐数据进行比对查重. 初始实现是单线程,和import_records去掉多线程后的部分差不多. 读取Excel数据 -> 发送到行政服务接口 安全起见线上操作放在了晚上进行.运行时发现每条数据导入消耗1s多,晚上十点开始跑这几千条数据想想都让人崩溃. 等着也是干等,下楼转两圈透透气,屋里龌龊的空气让人昏昏沉沉,寒冷让人清醒不少,突然想到为什么不用多线程呢? 第一版多线程和处理业务的程序糅合在了一
-
Python如何获取多线程返回结果
目录 Python获取多线程返回结果 Python多线程实现 Python获取多线程返回结果 在 Python 的多线程中,有时候我们会需要每一个线程中返回的结果. 然而,在经过我的多番尝试.以及网上各种博客显示,在 Python3 中是无法获得单个线程中返回的结果的,因此我们需要定义一个类来实现这个过程 这个类的定义如下: class MyThread(threading.Thread): def __init__(self, func, args = ()): sup
-
python实现GATK多线程加速示例
目录 GATK 变异分析 下面的来自网络未验证 GATK 变异分析 对于大数据样本可能会比较慢,因此可以按照染色体拆分后进行多线程并行计算. 下面是我写的一个python多线程脚本,仅供参考,拙劣之处敬请指正. #!/usr/bin/python3 import _thread import os import threading import time muthreads=[] bam_file="a.mkdup.bam" out_file_prefix="flower&q
-
Python异步爬虫多线程与线程池示例详解
目录 背景 异步爬虫方式 多线程,多进程(不建议) 线程池,进程池(适当使用) 单线程+异步协程(推荐) 多线程 线程池 背景 当对多个url发送请求时,只有请求完第一个url才会接着请求第二个url(requests是一个阻塞的操作),存在等待的时间,这样效率是很低的.那我们能不能在发送请求等待的时候,为其单独开启进程或者线程,继续请求下一个url,执行并行请求 异步爬虫方式 多线程,多进程(不建议) 好处:可以为相关阻塞的操作单独开启线程或者进程,阻塞操作就可以异步会执行 弊端:不能无限制开
-
python实现的多线程端口扫描功能示例
本文实例讲述了python实现的多线程端口扫描功能.分享给大家供大家参考,具体如下: 下面的程序给出了对给定的ip主机进行多线程扫描的Python代码 #!/usr/bin/env python #encoding: utf-8 import socket, sys, thread, time openPortNum = 0 socket.setdefaulttimeout(3) def usage(): print '''''Usage: Scan the port of one IP: py
-
Python实现的多线程同步与互斥锁功能示例
本文实例讲述了Python实现的多线程同步与互斥锁功能.分享给大家供大家参考,具体如下: #! /usr/bin/env python #coding=utf-8 import threading import time ''' #1.不加锁 num = 0 class MyThread(threading.Thread): def run(self): global num time.sleep(1) #一定要sleep!!! num = num + 1 msg = self.name + '
-
python opencv之SURF算法示例
本文介绍了python opencv之SURF算法示例,分享给大家,具体如下: 目标: SURF算法基础 opencv总SURF算法的使用 原理: 上节课使用了SIFT算法,当时这种算法效率不高,需要更快速的算法.在06年有人提出了SURF算法"加速稳定特征",从名字上来看,他是SIFT算法的加速版本. (原文) 在SIFT算法当中使用高斯差分方程(Difference of Gaussian)对高斯拉普拉斯方程( Laplacian of Gaussian)进行近似.然而,SURF使
-
Python自定义线程类简单示例
本文实例讲述了Python自定义线程类.分享给大家供大家参考,具体如下: 一. 代码 # -*- coding:utf-8 -*- #! python2 import threading class mythread(threading.Thread): def __init__(self, num): threading.Thread.__init__(self) self.num = num def run(self): print('I am {0}'.format(self.num))
-
Python批量启动多线程代码实例
这篇文章主要介绍了python批量启动多线程代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 建立一个线程池,并将某个线程放入进去 threadpool = [] th = threading.Thread(target=func_name, args=func_args) threadpool.append(th) 批量加入线程 for i in range(10): th = threading.Thread(target=func_
-
Python实现异步IO的示例
前言 用阻塞 API 写同步代码最简单,但一个线程同一时间只能处理一个请求,有限的线程数导致无法实现万级别的并发连接,过多的线程切换也抢走了 CPU 的时间,从而降低了每秒能够处理的请求数量.为了达到高并发,你可能会选择一个异步框架,用非阻塞 API 把业务逻辑打乱到多个回调函数,通过多路复用与事件循环的方式实现高并发. 磁盘 IO 为例,描述了多线程中使用阻塞方法读磁盘,2 个线程间的切换方式.那么,怎么才能实现高并发呢? 把上图中本来由内核实现的请求切换工作,交由用户态的代码来完成就可以了,
-
python 下载m3u8视频的示例代码
import requests import os import datetime import threading class xiazai(): def __init__(self,url): self.url = url work_dir = os.getcwd() # print(work_dir) # 用来保存ts文件 file_dir = os.path.join(work_dir, 'file_tmp') if not os.path.exists(file_dir): os.mk
-
Python多进程与多线程的使用场景详解
前言 Python多进程适用的场景:计算密集型(CPU密集型)任务 Python多线程适用的场景:IO密集型任务 计算密集型任务一般指需要做大量的逻辑运算,比如上亿次的加减乘除,使用多核CPU可以并发提高计算性能. IO密集型任务一般指输入输出型,比如文件的读取,或者网络的请求,这类场景一般会遇到IO阻塞,使用多核CPU来执行并不会有太高的性能提升. 下面使用一台64核的虚拟机来执行任务,通过示例代码来区别它们, 示例1:执行计算密集型任务,进行1亿次运算 使用多进程 from multipro