linux系统操作和基本管理配置

Terminal, Shell and SSH

1. Terminal (Console, TTY)

Terminal = Keyboard + Monitor

2. Shell

Shell = Command Line Interpreter

cmd

PowerShell

Bash

Zsh

3. SSH

SSH client: softwares to connect a terminal to a server via network

Putty / XShell

MinGW / cygwin

bash与ubuntu常用命令

1. 命令查找顺序

如果命令以 . 或者 / 开头，则认为表示一个程序的路径
如果是Shell函数，就作为函数调用
如果不是Shell函数，就去 $PATH 里查找同名程序

2. 常用命令

基本文件和目录操作
- ls: 查看文件列表
- cp: 复制文件
- mv: 移动文件(重命名)
- cd: 更换工作目录
- dirs: 查看目录栈
- pushd: 更换工作目录，并压入目录栈
- popd: 弹出目录栈并切换过去
- rm: 删除文件
- tree: 递归打印整个目录
- du: 查看文件大小
- chmod: 更改文件和目录权限
- chown: 更改文件和目录所有者
系统资源情况
- ps: 查看进程列表
- top: 查看各进程资源使用情况
- htop: 漂亮一点的top
- free: 查看内存使用情况
- kill: 向进程发送信号
任务运行和管理
- jobs: 当前shell下的任务列表
- fg: 将后台任务调回前台
- bg: 继续执行(挂起的)后台任务
- disown / setsid: 使任务脱离Shell
- nohup: 忽略HUP信号，并重定向标准IO流
- xargs: 可用于批量执行任务
文本文件操作
- less: 查看文本文件
- vi: 编辑文本文件
- grep: 保留包含特定内容的行
- cut: 保留特定列
- sort: 按行排序
- wc: 统计词数/行数
- diff: 按行比对两个文件的差异
Misc.
- echo: 打印参数
- whoami: 打印当前用户名称
- ping: 查看到指定ip网络是否通畅
- passwd: 更换密码

3. 命令使用方法

大多数命令接收--help参数，会列出基本用法和选项
```
samtools --help
```
部分程序会有Man Page，里面会有详尽用法以及对一些算法的解释
```
man samtools
```

程序的执行

1. 进程

进程是程序运行的环境，也是操作系统分配资源的基本单位
每个进程相对独立，进程之间的通信一般通过操作系统完成
进程包括以下几个部分
- 程序在内存中的镜像
- 操作系统分配的内存(可能是虚拟内存)
- 进程属性，如所属用户、父进程等
- 处理器上下文
- 资源描述符

2. IO

程序的IO操作(包括读写磁盘文件、读取键盘输入、向屏幕输出错误信息、网络通信等)全部由操作系统管理
程序内部用操作系统分配的资源描述符表示一个IO对象
0: STDIN, 1: STDOUT, 2: STDERR

3. 参数与退出状态

进程在开始执行时可以获得若干命令行参数
进程退出会返回一个数字给操作系统，通常0表示正常退出，其它数字表示出错(如程序本身出现错误，或执行被中止)

4. 信号

一些事件会自动向进程发送信号，也可以通过kill或者htop命令主动发送
-1 or -HUP: 用户退出时，Shell会向子进程(包括前台和后台)发送这个信号，nohup命令可以让一个进程忽略这个信号
-2 or -SIGINT: 按下Ctrl+C时，Shell会向前台进程发送这个信号
-15 or -TERM: kill命令不指定参数的话，默认发送这个信号
-9 or -KILL: 操作系统不会向指定进程传递这个信号，而是直接中止该进程

5. 进程的生命周期

Linux文件系统

文件使用路径表示，/开头表示绝对路径，.表示当前路径，..表示上一级
文件不一定都是磁盘文件，也可能是内存、网络、其它存储介质或完全虚拟的设备(如/dev/random)
文件名以.开头的文件和目录一般认为是隐藏的，ls默认不显示，此外和无任何区别
文件分读/写/执行权限，拥有执行权限的文本文件会通过默认Shell运行，但是即使没有执行权限，也可以通过脚本解释器来执行

基本Bash用法

1. 快捷键

↑: 上一条命令
Ctrl+C: 发送SIGINT给前台进程(中止运行)
Ctrl+D: 输入EOF(表示输入完毕，如果是在Bash里直接输入则会退出)
Ctrl+Z: 将前台进程转入后台，进程会挂起，使用bg命令可以让其在后台恢复运行

2. 管道

管道的语法如下

cat example.vcf | grep OCCURENCE | less -S

管道同时启动所有程序，并将后面程序的STDIN重定向为前面程序的STDOUT

3. 通配符

?匹配一个字符, *匹配0个或多个字符
```
rm *snp*.vcf
```
~会替换成用户主目录
通配符会在启动进程前展开，对被调用的程序来说挨个输入和使用通配符是不可区分的

4. 重定向

echo hello 1>~/log 将标准输出写进~/log文件，其中1可以省略
echo hello 2>&1 将标准错误写进标准输出
echo hello >>log 将标准输出追加到log文件，不覆盖原有内容

5. 自动补全

按下tab键即可自动补全，如果前缀有歧义连续按两下tab键会列出所有可选项

6. 简单语句

& 可以让程序在后台运行，通常与nohup结合使用
```
sleep 10 &
```
&& 可以让程序在前一个程序成功(返回0)时才执行，如
```
mkdir example && cd example
```

与本机的通信

1. SCP

scp -r . [email protected]:~/example
scp [email protected]:~/example.vcf .

2. Web

python -m SimpleHTTPServer 8001

然后用浏览器打开 http://192.168.1.13:8001 即可查看

负载控制

1. 欲速则不达

CPU: 如果并发进程数超过逻辑处理器数量，系统需要在不同任务间频繁切换，每次任务切换需要将CPU上下文保存至内存并且Cache会失效，降低整体效率
内存: 如果内存使用量接近或超过物理内存大小，系统需要将一部分内存转储至硬盘，极大影响速度并降低硬盘寿命
磁盘IO: 如果磁盘速度达到上限，进程需要等待，浪费CPU性能; 此外过多的并发读写会影响机械硬盘的整体效率

2. 资源使用状态简单判别 - top

CPU: id < 5, 或者load > 处理器数量
磁盘IO: wa > 10, 或者状态出现大量"D"
内存: htop能直观显示

附录

常见缩写

a: append
b: byte
d: daemon
f: file, format
h: human
o: output
s: super, soft
x: exit

dir: directory
dlm: delimiter
err: error
src: source
tmp: temporary
usr: user

Snippets

解压一个压缩包到当前目录下一个单独的文件夹里
```
tar zxvf example.tar.gz
```
查看一个压缩的文本文件
```
gzip -cd example.fastq.gz | less
```
查看当前目录下所有bam文件的大小并排序
```
du -sh *.bam | sort -h
```
批量执行当前目录下所有脚本，但最多只同时执行20个任务，输出放到用户主目录下
```
find *.sh | xargs -n 1 -P 20 bash > ~/log 2>&1
```