linux提交任务命令 linux完成任务命令

Linux集群使用命令

存储NAS 文件操作

创新互联公司-专业网站定制、快速模板网站建设、高性价比格尔木网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式格尔木网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖格尔木地区。费用合理售后完善，十载实体公司更值得信赖。

df -h查看空间使用情况

警惕超大 nohup.out

任务提交

任务提交前

qhost--查看集群负载状态

qsub / qsub-sge.pl--提交任务

qstat--查看任务状态

qdel / qmod--任务控制

任务查看

qhost -j---列出所有用户在每个节点上的任务

qhost -q---列出每个节点上每个队列的任务数

qhost -u username---列出某个用户在每个节点上的任务

提交命令

qsub -cwd -q queue.q test.sh

qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh

任务查看2

qstat -u username---查看某个用户的任务

qstat -u *,---查看所有用户的任务

qstat –j jobs_ID---查看某个任务的详细信息

查看.e和.o文件

.e：错误信息

.o：标准输出

任务控制

qdel jobID---删除某个任务

qdel -u username---删除某个用户的所有任务

qmod -s jobID--挂起某个任务

qmod -us jobID---继续运行某个挂起的任务

按任务占用内存大小选择相应的队列

查看队列 qstat -g c

QUEUE

PE.q--并行

cloud.q--云平台

general.q--96G节点

middle.q--96G节点

great.q--大内存节点

plus.q--大内存节点

single.q--Trinity组装

single._p.q---Trinity组装（占用内存较大）

TOP监视

编辑于 2017-04-21

Linux 多种提交作业的指令

    1、前台进程就是用户使用的有控制终端的进程,一旦这个终端关闭，这个进程也随之消失。

       2、后台进程也叫守护进程，是运行在后台的一种特殊进程，不受终端控制。

       3、后台程序基本上不和用户交互，优先级别稍微低一点 ； 前台的程序和用户交互，需要较高的响应速度，优先级别稍微高一点。

方法一 ：切换到shell脚本所在的目录（此时，称为工作目录）执行shell脚本：./test.sh

方法二： 以绝对路径的方式去执行bash shell脚本:/home/user1/test.sh

方法三： 直接使用bash 或sh 来执行bash shell脚本:sh test.sh bash test.sh。该方法执行脚本，可以不必事先设定shell的执行权限，甚至都不用写shell文件中的第一行（指定bash路径）。因为方法三是将test.sh作为参数传给sh(bash)命令来执行的。这时不是test.sh自己来执行，而是被人家调用执行，所以不要执行权限

方法四： 在当前的shell环境中执行bash shell脚本： . test.sh  source test.sh

几种方法的对比：

前三种方法执行shell脚本时都是在当前shell（称为父shell）开启一个子shell环境，此shell脚本就在这个子shell环境中执行。shell脚本执行完后子shell环境随即关闭，然后又回到父shell中。而方法四则是在当前shell中执行的 。

可以使用nohup命令忽略所有挂断（SIGHUP）信号，来实现在终端关闭后，命令不挂断地运行，nohup就是不挂起的意思( no hang up)。

Linux集群常用指令

姓名：张昊楠   学号：21021210691

存储NAS 文件操作

df -h查看空间使用情况

警惕超大 nohup.out

ls   当前路径下的文件列表

pwd  查看当前路径

cd    进入某个文件夹

任务提交

任务提交前

qhost--查看集群负载状态

qsub / qsub-sge.pl--提交任务

qstat--查看任务状态

qdel / qmod--任务控制

任务查看

qhost -j---列出所有用户在每个节点上的任务

qhost -q---列出每个节点上每个队列的任务数

qhost -u username---列出某个用户在每个节点上的任务

提交命令

qsub -cwd -q queue.q test.sh

qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh

任务查看2

qstat -u username---查看某个用户的任务

qstat -u *,---查看所有用户的任务

qstat –j jobs_ID---查看某个任务的详细信息

查看.e和.o文件

.e：错误信息

.o：标准输出

任务控制

qdel jobID---删除某个任务

qdel -u username---删除某个用户的所有任务

qmod -s jobID--挂起某个任务

qmod -us jobID---继续运行某个挂起的任务

按任务占用内存大小选择相应的队列

查看队列 qstat -g c

QUEUE

PE.q--并行

cloud.q--云平台

general.q--96G节点

middle.q--96G节点

great.q--大内存节点

plus.q--大内存节点

single.q--Trinity组装

single._p.q---Trinity组装（占用内存较大）

集群任务提交及相关命令

~ 代表根目录 /public/home/wangyantao/

#任务提交命令

qsub -l mem=1G,nodes=1:ppn=1 *.sh (#*.sh代表脚本)

ll #根目录下的文件

less #查看脚本文件内容#

vim

star建索引

以下是脚本信息

/public/home/liuxiaofeng/biosoft/STAR-master/bin/Linux_x86_64_static/STAR --runThreadN 4 --runMode genomeGenerate --genomeDir $path/04.00.star.index/ref.fa --genomeFastaFiles $path/00.ref/*.fasta --sjdbGTFfile $path/00.ref/*.gff3

/public/home/liuxiaofeng/biosoft/STAR-master/bin/Linux_x86_64_static/STAR --runThreadN 4 --runMode genomeGenerate --genomeDir ref.fa --genomeFastaFiles /vol3/agis/zhoushaoqun_group/wangyantao/reference/S_aethiopicum_genome_fasta --sjdbGTFfile /vol3/agis/zhoushaoqun_group/wangyantao/reference/S_aeth_gene.gff

/public/home/liuxiaofeng/biosoft/STAR-master/bin/Linux_x86_64_static/STAR --runThreadN 4 --runMode genomeGenerate --limitGenomeGenerateRAM 115005046144 --genomeDir ref.fa --genomeFastaFiles /vol3/agis/zhoushaoqun_group/wangyantao/reference/S_aethiopicum_genome_fasta --sjdbGTFfile /vol3/agis/zhoushaoqun_group/wangyantao/reference/S_aeth_gene.gff

PBS脚本 提交任务

#如何在linux下创建一个可运行shell脚本

#新建一个.sh文件

touch cellranger.count.sh

#编辑test.sh文件

vi test.sh

#键入i，输入内容;#!/bin/sh必须放在第一行;然后键入esc键,输入:wq保存退出

#给test.sh赋予可执行权限

chmod +x test.sh 

#执行脚本

sh test.sh 

PBS 脚本格式 ：PBS脚本为.pbs文件，将提交任务的命令写在PBS脚本中提交，PBS脚本由抬头的任务详情和具体命令组成：

抬头任务详情格式：

#PBS -N myjob

#PBS -o /home/jz/my.out

#PBS -e /home/jz/my.err

#PBS –l nodes=2:ppn=1

#########################创建自己的

这里的#不是注释的意思

#PBS -N cellranger.f

#PBS -o /home/yifan/project/LJ.22.02.sc/cellranger/my.out

#PBS -e /home/yifan/project/LJ.22.02.sc/cellranger/my.err

#PBS –l nodes=2:ppn=1

cd /home/yifan/project/LJ.22.02.sc

for id in KOAC KONC WTAC WTNC

do

/home/yifan/software/cellranger-6.1.2/cellranger count --localcores=40 --localmem=120 --id=${id}2 --transcriptome=/home/yifan/data/ref/cellranger.mm10/refdata-gex-mm10-2020-A --nosecondary --fastqs=/home/yifan/project/LJ.22.02.sc --sample=${id}

done

一般格式：qsub + 脚本名称，

如：qsub myname.pbs

cd /home/yifan/project/LJ.22.02.sc

qsub cellranger.count.sh

65690.mu01  #给出了任务号

命令格式：qatat[-f][-a][-i] [-n][-s] [-R] [-Q][-q][-B][-u]

qstat -an

参数说明：

-f jobid 列出指定作业的信息

-a 列出系统所有作业

-i 列出不在运行的作业

-n 列出分配给此作业的结点

-s 列出队列管理员与scheduler 所提供的建议

-R 列出磁盘预留信息

-Q 操作符是destination id，指明请求的是队列状态

-q 列出队列状态，并以alternative 形式显示

-au userid 列出指定用户的所有作业

-B 列出PBS Server 信息

-r 列出所有正在运行的作业

-Qf queue 列出指定队列的信息

-u 若操作符为作业号，则列出其状态。

若操作符为destination id，则列出运行在其上的属于user_list中用户的作业状态。

例：# qstat -f 211 查询作业号为211 的作业的具体信息。