Linux Commands

October 27, 2022 · 11 min read

FullStack Engineer @ Facebook

https://man.niaoge.com/

Linux File System

linux-file-system

Commonds

df 查看磁盘占用情况

df -h	以易读格式显示

du 查看文件占用磁盘大小

du -sh 目录名
du -sh * | sort -nr| head #查看文件大小并排序

top 查看CPU占用率

top -u 用户名	查看某用户的cpu使用情况

free 查看内存使用

free -m 以MB为单位显示内存使用情况

sort 排序

-f	忽略大小写
-b	忽略最前面的空格符
-M	以月份名字排序
-n	以纯数字排序
-r	反向排序
-u	重复数据只显示其中一行
-t	分隔符，默认 tab
-k	以某个分隔区间排序
cat /etc/passwd | sort -t ':' -k 3 -n


example:
sort test.txt | uniq -d        # 统计重复行

chmod 修改权限

chmod -R 777 /test	更改test目录下所有文件权限为777

chown 更改所有者

chown yuqiuwen test.sh 修改test.sh文件所有者为yuqiuwen

uname 显示系统信息

uname -a	显示系统详细信息

tar 解压缩

tar -zxvf	解压文件
tar -cvf	打包文件

查看cpu配置

cat /proc/cpuinfo

grep

-a	将binary文件以text文件的方式搜寻数据
-c	计算找到所搜寻字符串的次数
-i	忽略大小写
-n	输出行号
-v	反向选择
--color=auto	关键词部分加上颜色

正则匹配
^ 行的开始 如：'^grep'匹配所有以grep开头的行。

$ 行的结束 如：'grep$'匹配所有以grep结尾的行。

. 匹配一个非换行符的字符 如：'gr.p'匹配gr后接一个任意字符，然后是p。

* 匹配零个或多个先前字符 如：'*grep'匹配所有一个或多个空格后紧跟grep的行。

.* 一起用代表任意字符。

\?	匹配其前面的字符0次或者1次；

\+	匹配其前面的字符至少1次；

[] 匹配一个指定范围内的字符，如'[Gg]rep'匹配Grep和grep。

[^] 匹配一个不在指定范围内的字符，如：'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一个字母开头，紧跟rep的行。

\(..\) 标记匹配字符，如'\(love\)'，love被标记为1。

\< 锚定单词的开始，如:'\<grep'匹配包含以grep开头的单词的行。

\> 锚定单词的结束，如'grep\>'匹配包含以grep结尾的单词的行。

x\{m\} 重复字符x，m次，如：'0\{5\}'匹配包含5个o的行。

x\{m,\} 重复字符x,至少m次，如：'o\{5,\}'匹配至少有5个o的行。

x\{m,n\} 重复字符x，至少m次，不多于n次，如：'o\{5,10\}'匹配5--10个o的行。

\w 匹配文字和数字字符，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G后跟零个或多个文字或数字字符，然后是p。

\W \w的反置形式，匹配一个或多个非单词字符，如点号句号等。

\b 单词锁定符，如: '\bgrep\b'只匹配grep。

awk

必须外层用单引号，内层双引号

NF	分割后当前行一共有多少字段
NR	行数
FS	字段分隔符，默认空格
FS 字段分隔符（默认是任何空格）
OFS 输出字段分隔符（默认值是一个空格)
RS 记录分隔符（默认是一个换行符）
ORS 输出记录分隔符（默认值是一个换行符）
ARGC 命令行参数的数目
ARGV 包含命令行参数的数组


-F	指定分割符，默认空格
-f	从脚本文件中读取
-v  赋值一个用户定义变量，将外部变量传递给awk

awk [option] pattern {action} file


awk 'END{print NR}' test.log				# 统计文件行数
awk 'NR==3,NR==6{print NR,$0}' test.log		# 查看第3到第6行，$0代表整行,NR输出行号
awk '{print $1,$(NF-1)}' test.log			# 查看第一列和倒数第二列
ifconfig eth0 | awk 'NR==2{print $2}'		# 取ifconfig eth0中第二行第二列的ip
awk -F ":" -v OFS="\t" 'NR==3,NR==6{print $1,$NF}' test.log	# 指定输出分隔符
awk -v ORS=" " 'NR==3,NR==6{print NR,$0}' test.log	# 以空格作为换行标志
awk 'BEGIN{print ARGV[0],ARGV[1]}' test.log		# 访问数组中的第1、2个值
awk -v myname="哈哈哈" 'BEGIN{print myname}'

sed

health_center.log日志文件如下：

-n	仅显示处理后的结果
-e	以选项中的指定的script来处理输入的文本文件
-i	直接编辑源文件

p	打印
d	删除
a 在当前行下面插入文本。
i 在当前行上面插入文本。
s	替换指定字符
g	获得内存缓冲区的内容，并替代当前模板块中的文本。
//	模式匹配



sed -n '1,6p' health_center.log		# 统计1到6行的文本
sed -n '1,+6p' health_center.log	# 输出第1行和之后的6行（共7行）
sed -n '/ERROR/p' health_center.log	# 输出包含ERROR的行
sed "/INFO/d" test.log				# 删除含有INFO的行（不会操作源文件）
sed -i "/INFO/d" test.log			# 删除含有INFO的行（直接操作源文件）
sed '10001,$d' test.log -i			# 删除从10001行到末尾的行
sed "s/WARNING/ERROR/g" test.log -i	# 将WARNING替换为ERROR
sed -e "s/ERROR/WARNING/g" -e "s/2022-05-28/2023-05-28/g" test.log -i	# 替换多个
sed "1a 123456" test.log -i			# 在第1行的下面添加一行123456
sed "1i abcde" test.log -i			# 在第1行的前面添加一行abcde
sed "1a tomorrow will be fine.\n okay okay" test.log -i			# \n表示在第1行的下面添加多行文本
sed 'a ------------' test.log		# 在每一行下面添加------------字符

### 文本如下，获取第二行中的ip 172.26.25.254
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.26.25.254  netmask 255.255.192.0  broadcast 172.26.63.255
        ether 00:16:3e:15:c5:19  txqueuelen 1000  (Ethernet)
        RX packets 1338810002  bytes 88450660493 (82.3 GiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 21251292571  bytes 1463867614512 (1.3 TiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
# 结合正则表达式，2s中的2代表第二行
ifconfig eth0 | sed -e "2s/^.*inet //" -e  "2s/net.*$//p" -n

wc 统计字符

-l	行
-w	英文字
-m	字符

ps 查看进程

ps -ef | grep python	显示系统中的python进程

kill 杀死进程

# grep -v grep 过滤掉grep本身所占进程
# awk '{print $2}'	提取找到的进程行记录中第二列的参数，也就是python的进程号
# xargs kill -9	把前面的参数都传递给后面的命令 kill -9
ps -ef | grep python | grep -v grep | awk '{print $2}' | xargs kill -9

netstat 查看网络端口信息

netstat -ntlp
ss -nltp

curl 获取网址信息

curl www.baidu.com	获取该网址的文本信息

curl  -i www.baidu.com	获取该网址的文本信息以及协议头部信息

curl -x www.baidu.com	使用代理获取网页文本信息

curl -X POST --header "Content-Type:application/json"  --data '{}'  www.baidu.com/getAllUserInfo	使用post模拟json格式请求接口

tail 根据位置输出文件内容

tail -n 10 error.log	查看最新10行

tail -n +20 error.log	从第20行开始输出

tail -c 10 error.log	输出最后10个字符

tail -c +10 error.log	从第10个字符开始输出

tail -f error.log	持续输出指定文件最新10行

sz rz 上传下载

sz filename	下载文件到本地

rz filename	上传文件到服务器

sftp 传输文件

sftp root@10.2.21.21
sftp> get /aa/bb/cc.txt /home/	# 将21机器上的cc.txt文件下载到home目录
sftp> put /aa/bb/cc.txt /home/	# 将cc.txt文件上传到21机器上的home目录

sftp> ls 
sftp> pwd //查询当前工作目录

rsync传输文件

rsync -av -e ssh --exclude 'exclude_path绝对路径' 本地路径 远程路径

test 判断文件是否存在

test -e file.txt && echo 11 || echo 10	#存在则输出11

环境变量

~/.bashrc
生效时间：使用相同的用户打开新的终端时生效，或者手动source ~/.bashrc生效
生效期限：永久有效
生效范围：仅对当前用户有效
如果有后续的环境变量加载文件覆盖了PATH定义，则可能不生效
会在每次运行Shell脚本的时候读取一次

~/.bash_profile
生效时间：使用相同的用户打开新的终端时生效，或者手动source ~/.bash_profile生效
生效期限：永久有效
生效范围：仅对当前用户有效
如果没有~/.bash_profile文件，则可以编辑~/.profile文件或者新建一个
只在用户登录的时候读取一次

/etc/bashrc		/etc/profile(bash_profile)
生效时间：新开终端生效，或者手动source /etc/bashrc生效
生效期限：永久有效
生效范围：对所有用户有效

/etc/environment
生效时间：新开终端生效，或者手动source /etc/environment生效
生效期限：永久有效
生效范围：对所有用户有效

环境变量加载顺序(系统级->用户级)：

/etc/environment

/etc/profile

~/.bash_profile

Linux环境变量配置全攻略 - 悠悠i - 博客园 (cnblogs.com)

shell

批量替换文件名

# 替换aa_bb_finished.jpg为aa_bb.jpg
for file in ls *fin*jpg;do mv $file `echo ${file//_finished/}`;done

Linux File System​

Commonds​

df 查看磁盘占用情况​

du 查看文件占用磁盘大小​

top 查看CPU占用率​

free 查看内存使用​

sort 排序​

chmod 修改权限​

chown 更改所有者​

uname 显示系统信息​

tar 解压缩​

查看cpu配置​

grep​

awk​

sed​

wc 统计字符​

ps 查看进程​

kill 杀死进程​

netstat 查看网络端口信息​

curl 获取网址信息​

tail 根据位置输出文件内容​

sz rz 上传下载​

sftp 传输文件​

rsync传输文件​

test 判断文件是否存在​

环境变量​

shell​

批量替换文件名​

Linux File System

Commonds

df 查看磁盘占用情况

du 查看文件占用磁盘大小

top 查看CPU占用率

free 查看内存使用

sort 排序

chmod 修改权限

chown 更改所有者

uname 显示系统信息

tar 解压缩

查看cpu配置

grep

awk

sed

wc 统计字符

ps 查看进程

kill 杀死进程

netstat 查看网络端口信息

curl 获取网址信息

tail 根据位置输出文件内容

sz rz 上传下载

sftp 传输文件

rsync传输文件

test 判断文件是否存在

环境变量

shell

批量替换文件名