wenmo8 发布的文章

在sre的平时运维或者在dev开发过程中我们经常会遇到字符串截取的问题,较经常使用的有cut或者awk,但是shell内置了比较方便的字符串截取方法,用好了能对工作提高很高的效率

 

1、shell中截取字符串的方法有很多中

${expression}一共有9种使用方法。

 

1)以下4种可以用来进行缺省值的替换。

复制代码

${parameter:-word} # 变量为空替换

${parameter:=word} # 变量为空替换,并将值赋值给$parameter

${parameter:?word} # 为空报错

${parameter:+word} # 不为空替换

复制代码

 

2)下面这种可以获得字符串的长度

${#parameter}

 

3)下面4个就是用来截取字符串的方法了。

${parameter%word} 最小限度从后面截取word

${parameter%%word} 最大限度从后面截取word

${parameter#word} 最小限度从前面截取word

${parameter##word} 最大限度从前面截取word

 

2、下面介绍各种截取方法

1)使用 # 号操作符

用途是从左边开始删除第一次出现子字符串即其左边字符,保留右边字符。

用法为#*substr,例如:

str='http://www.hxh.com/cut-string.html'echo ${str#*//}

 

得到的结果为:

www.hxh.com/cut-string.html

即删除从左边开始到第一个"//"及其左边所有字符

 

2)使用 ## 号操作符

用途是从左边开始删除最后一次出现子字符串即其左边字符,保留右边字符。

用法为##*substr,例如:

str='http://www.hxh.com/cut-string.html'echo ${str##*/}

 

得到的结果为

cut-string.html

即删除最后出现的"/"及其左边所有字符

 

3)使用 % 号操作符

用途是从右边开始删除第一次出现子字符串即其右边字符,保留左边字符。

用法为%substr*,例如:

str='http://www.hxh.com/cut-string.html'echo ${str%/*}

 

得到的结果为

http://www.hxh.com

即删除从右边开始到第一个"/"及其右边所有字符

 

4)使用 %% 号操作符

用途是从右边开始删除最后一次出现子字符串即其右边字符,保留左边字符。

用法为%%substr*,例如:

str='http://www.hxh.com/cut-string.html'echo ${str%%/*}

 

得到的结果为

http:

即删除从右边开始到最后一个"/"及其右边所有字符

 

5)从左边第几个字符开始以及字符的个数

用法为:start:len,例如:

str='http://www.hxh.com/cut-string.html'echo ${var:0:5}

 

其中的 0 表示左边第一个字符开始,5 表示字符的总个数。

结果是:

http:

 

6)从左边第几个字符开始一直到结束

用法为:start,例如:

str='http://www.hxh.com/cut-string.html'echo ${var:7}

 

其中的 7 表示左边第8个字符开始

结果是:

www.hxh.com/cut-string.html

 

7)从右边第几个字符开始以及字符的个数

用法:0-start:len,例如:

str='http://www.hxh.com/cut-string.html'echo ${str:0-15:10}

 

其中的 0-15 :这里0-1表示从右边开始,0-15表示从右边开始取,取15个字符,右10 表示从左边开始取的字符长度。

结果是:

cut-string

 

8)从右边第几个字符开始一直到结束

用法:0-start,例如:

str='http://www.hxh.com/cut-string.html'echo ${str:0-4}

 

其中的 0-4:这里0-1表示从右边开始,0-4表示从右边开始取,取4个字符

结果是:

html

 

注:

左边的第一个字符是用 0 表示,右边的第一个字符用 0-1 表示


1、Linux硬盘盘符分配原则

在Linux系统中,若存在多块硬盘,内核分配盘符的顺序是/dev/sda、/dev/sdb、/dev/sdc … …。在系统启动过程中,内核会按照扫描到硬盘的顺序分配盘符

内核中分配盘符函数,见链接http://ilinuxkernel.com/?p=794

 

Linux内核通过IDR(integer ID)整数ID管理机制来分配盘符,即找到一个空闲的整数。内核针对SCSI盘符,从0开始分配整数。整数0对应的盘符为/dev/sda,关系如下:

若index=0,则分配给此块SCSI硬盘的盘符为sda;

若index=1,则分配给此块SCSI硬盘的盘符为sdb;

… …

若index=25,则分配给此块SCSI硬盘的盘符为sdz;

如在有12硬盘的服务器中,每个物理槽位均插一块硬盘,且没有做RAID,硬盘物理槽位关系如下:

  0  3  6  9
  1  4  7  10
  2  5  8  11

那么Linux内核启动后,IDR机制分配的盘符的整数为0、1、2、3、4、5、6、7、8、9、10、11,对应的硬盘盘符如下:

系统运行过程中,若拔掉第5块盘,如下图所示:

则此时系统中,/dev/sde盘符消失,内核针对SCSI盘符的IDR整数4就空闲出来。当再次将该硬盘插入时,得到的盘符仍然是/dev/sde。

 

2、非热插拔硬盘盘符分配示例

如下图,第5个硬盘物理槽位没有硬盘。系统重启后,盘符对应关系如下。系统中没有盘符/dev/sdl,缺少不是最后一块硬盘,而是第5块硬盘。

下图是第5块和第9块物理槽位硬盘不在位时,OS盘符对应关系。

 

从这我们可以看出:

1)非热插拔的磁盘它盘符是按照整数ID来分配

2)由于是非热插拔磁盘不能在通电的时候插入磁盘


 

3、热插拔硬盘盘符分配示例

下图是第1、5、9块硬盘不在位时,OS盘符对应关系,此时没有热插拔硬盘。

系统运行过程中,先热插拔一块到第1个物理槽位,此时得到的盘符为/dev/sdj,然后插入一块硬盘到第9个物理槽位,此时分配的盘符为/dev/sdk。

若插入2块硬盘后,机器重启,则盘符对应关系如下。从这里我们可以看出,硬盘盘符和物理槽位没有必然直接对应关系。

 

从这我们可以看出

1)由于磁盘是热插拔的可以在通电的时候插入磁盘

2)新插入的磁盘盘符是按照整数ID顺序来进行分配的

3)建议平时我们不要随意挪动硬盘,避免系统盘和数据盘调混了


 

4、硬盘盘符为什么会漂移

服务器只有12块物理硬盘,但在系统运行过程中或更换硬盘时,会出现/dev/sdm、/dev/sdn等类似盘符。

下面示例,系统运行过程中,我们把第5块硬盘拔出再插入,此时得到的硬盘盘符可能为/dev/sdm。

当我们拔出硬盘后,内核会调用sd_remove()函数卸载硬盘,正常情况下会清除该硬盘盘符占用的所有资源,包括SCSI盘符对应的IDR整数。但我们拔出硬盘时,若系统有进程正在访问该硬盘,则内核不会删除对应IDR的整数,该整数就会被占用,再次插入硬盘时,就分配新的IDR整数给盘符,导致盘符漂移。

如上面第5块硬盘,内核分配的IDR值为4,但硬盘拔出再插入后,应为IDR值为4没被释放,内核找到空闲的IDR就会12,此时盘符就变为/dev/sdm。盘符变为/dev/sdn等时,以此类推

 

原链接:https://www.cnblogs.com/gentlemanhai/p/14471170.html


1、pgrep是什么?

pgrep是一个命令行程序,可以根据输入给定的条件查找正在运行的程序的进程ID

它可以是完整或部分进程名称,运行该进程的用户或其他属性

 

语法:

1
pgrep(选项)(参数)

 

选项:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
-d, --delimiter <string>  specify output delimiter
 -l, --list-name           list PID and process name
 -a, --list-full           list PID and full command line
 -v, --inverse             negates the matching
 -w, --lightweight         list all TID
 -c, --count               count of matching processes
 -f, --full                use full process name to match
 -g, --pgroup <PGID,...>   match listed process group IDs
 -G, --group <GID,...>     match real group IDs
 -n, --newest              select most recently started
 -o, --oldest              select least recently started
 -P, --parent <PPID,...>   match only child processes of the given parent
 -s, --session <SID,...>   match session IDs
 -t, --terminal <tty,...>  match by controlling terminal
 -u, --euid <ID,...>       match by effective IDs
 -U, --uid <ID,...>        match by real IDs
 -x, --exact               match exactly with the command name
 -F, --pidfile <file>      read PIDs from file
 -L, --logpidfile          fail if PID file is not locked
 --ns <PID>                match the processes that belong to the same

   

参数:

进程名称:指定要查找的进程名称,同时也支持类似grep指令中的匹配模式

 

例子:

-f 选项

# pgrep -f clickhouse-server 
7237672378

 

-l 选项

# pgrep -f clickhouse-server -l72376 clckhouse-watch72378 clickhouse-serv

 

-d 选项

# pgrep -f clickhouse-server -l -d ' '72376 clckhouse-watch 72378 clickhouse-serv

 

-u 选项

复制代码

# 组合模式,查找root或者j-huangxianghai-jk下的进程
pgrep -u root,j-huangxianghai-jk -l201341 kdmflush201343 bioset201488 jbd2/dm-4-8201489 ext4-rsv-conver

# 打印在用户j-huangxianghai-jk用户下且名称中包含sshd
pgrep -u j-huangxianghai-jk sshd -l

复制代码

 

特别说明:

1)pgrep相当于# ps -eo pid,cmd | awk '{print $1,$2}' | grep clickhouse-server

72378 /usr/bin/clickhouse-server

 

2)pgrep查找的是程序名,不包括其参数

复制代码

[root@ck21 j-huangxianghai-jk]# ps aux|grep sshd
root       1511  0.0  0.0 106056  4176 ? Ss   Oct18   0:00 /usr/sbin/sshd -D
root      59820  0.0  0.0 145760  5300 ? Ss   13:59   0:00 sshd: j-huangxianghai-jk [priv]
j-huang+  59828  0.0  0.0 147844  3048 ? S    13:59   0:00 sshd: j-huangxianghai-jk@pts/0root      60147  0.0  0.0 145760  5296 ? Ss   14:00   0:00 sshd: j-huangxianghai-jk [priv]
[root@ck21 j-huangxianghai-jk]# pgrep j-huangxianghai-jk
[root@ck21 j-huangxianghai-jk]# pgrep sshd1511598205982860147

复制代码


1、拷贝项目包到Linux后安装virtualenv
pip install virtualenv
2、创建项独立的env目录,由于我这里的是venv,所有创建的是venv
# python -m virtualenv venv
  No LICENSE.txt / LICENSE found in sourceNew python executable in /opt/oppython/autoInstallNn/venv/bin/python
Installing setuptools, pip, wheel...done.
3、加载独立环境
# source venv/bin/activate不是加载Scripts目录下的activate


使用 Bash 脚本自动执行各种任务。掌握基础知识并开始您的 Bash 脚本之旅。

Bash 脚本可用于自动化任务,您会发现它们非常适合构建简单的命令行应用程序。Bash shell 解释 Bash 脚本,因此您无需安装任何依赖项即可编写和运行它们。Bash 脚本也是可移植的,因为大多数基于 Unix 的操作系统都使用相同的 shell 解释器。
每个开发人员都必须具备 Bash 脚本知识,尤其是在使用基于 Unix 的系统时。

Bash 中的变量

Bash 变量区分大小写。要声明变量,请使用等号(=),名称在左侧,值在右侧:

STATE=LinuxMi

此声明分配给STATE的值是一个单词。如果您的值中需要空格,请在其周围使用引号:

STATE="Ubuntu Linux"

您需要使用美元符号($)前缀来引用其他变量或语句中的变量:

STATE=LinuxMiLOCATION="My Site is $STATE"

在 Bash 中打印值

有几种方法可以在 Bash 中打印变量。您可以使用echo命令进行基本输出,或使用 C 风格的printf命令进行字符串格式化。

STATE=LinuxMiLOCATION="My Site is $STATE"echo $LOCATION

声明STATE变量后,此脚本通过引用 STATE 来定义LOCATION 。如果 then 使用 echo 打印 LOCATION 变量的最终值。
图片
printf关键字允许您使用格式化动词来输出数据。字符串格式化动词类似于 C 和 Go 中的动词,但动词有限。

动词功能性
%C打印单个字符
%o打印八进制
%s打印字符串,独立于大小写
%X打印小写十六进制
%X打印大写十六进制
%d打印整数
%e以小写形式打印科学概念浮点数
%E以大写形式打印科学概念浮点数
%F打印浮点数
%%打印一个百分比符号。

这是一个使用带有print关键字的动词的示例。

STATE=LinuxMi.comprintf "My Site is %s" $STATE

图片

printf函数将在%s动词的位置替换STATE变量,输出将是“My Location is Lagos”。

Bash 中的注释

您可以在 Bash 中使用井号或井号 ( # ) 符号进行注释。shell 会自动忽略注释。




#!/bin/bash# STATE=LinuxMi.com# LOCATION="My Site is $STATE"


没有多行注释。大多数 IDE 和文本编辑器允许您使用 Ctrl/Command + 正斜杠 (/) 快捷方式进行注释。您应该能够使用快捷方式创建多个单行注释。

在 Bash 中接收用户输入

与许多其他编程语言一样,您可以在 Bash 中接收用户输入,以使您的程序/脚本更具交互性。您可以使用read命令来请求用户的输入。


read response


在这种情况下,response变量将保存用户在交付时的输入。




echo "What do you want ?: "read responseecho $response


在上面的示例中,用户输入请求将位于新行上。

图片

您可以将-n标志添加到echo print 语句以保留用户输入输入的行。

echo -n "What do you want."read responseecho $response

图片

在 Bash 中声明数组

Bash中的数组就像大多数语言一样。您可以通过在括号中指定元素来在 Bash 中声明一个数组变量。


Countries=('Ubuntu' 'Debian' 'CentOS', "openSUSE", "Linuxmi.com")


通过引用变量名访问数组将获取第一个元素。您可以使用星号作为索引来访问整个数组。


echo ${Countries[*]}


您还可以指定数组的索引来访问特定元素。数组的索引从零开始。

echo "${Countries[4]}"

图片

Bash 中的条件语句

Bash 为程序中的决策提供条件。

这是 Bash 中 if-else 语句的剖析。您必须使用分号来指定条件的结束。








if [[ condition ]]; then   echo statement1elif [[condition ]]; then   echo statement2else [[condition ]]; then   echo statement3fi


您必须以fi关键字结束每个if语句。








if [ 1 == 2 ]; then   echo one elif [ 2 == 3 ]; then #else-if   echo twoelse [ 4 > 3 ];    echo "correct, 3"fi


您可以使用case关键字在 Bash 程序中使用 case 语句。您必须指定模式,然后在语句之前加上括号。
















NAME=LinuxMicase $NAME in  "Debian") # 模式    echo "Debian是目前世界最大的非商业性Linux发行版之一" # 声明    ;; # case 结束  "LinuxMi" | "Ubuntu")    echo  "openSUSE"    ;;  "CentOS" | "oracle linux")    echo  "linux"    ;;  *) # 默认模式    echo "linuxmi.com" # 默认声明    ;;esac # case声明结束


您可以使用星号 (*) 符号作为模式定义默认大小写。case 语句必须以esac关键字结尾。

Bash 中的循环

根据您的需要,您可以使用 while 循环、范围 for 循环或 C 风格的 for 循环进行重复操作。

这是 C 风格的 for 循环的示例。For 循环必须以done关键字结尾,并且您必须以分号后跟do关键字结束 for 语句。




for ((a = 0 ; a < 10 ; a+2)); do  echo $adone


对于处理文件和许多其他操作,for 循环的范围很方便。您需要将in关键字与范围 for 循环一起使用。




for i in {1..7}; do    echo $1done


图片

这是一个简单的无限循环,用于演示 Bash while循环的实际作用。






linuxmi=1while [ 1 -le 5 ] # while 1 < 5do  echo $linuxmidone


条件语句中的-le是小于的二元运算符。

Bash 中的函数

在 Bash 中声明函数不需要关键字。您可以使用名称声明函数,然后在函数体之前加上括号。





print_working_directory() {  echo $PWD  #从脚本调用PWD命令}echo "当前的目录是 $(print_working_directory)"


图片

函数可以在 Bash 中返回变量。您所需要的只是return关键字。




print_working_directory() {  return $PWD}


print_working_directory函数返回文件的工作目录。

你可以用其他语言编写 Shell 脚本

Bash 并不是您可以用来与操作系统的 shell 交互或构建命令行应用程序的唯一语言。您可以使用许多其他语言,例如 Go、Python、Ruby 和 Rust。

许多操作系统都预装了 Python3,而 Python 是一种流行的语言。如果您需要比 Bash 脚本提供的更多功能,请考虑使用 Python。