分类 其它 下的文章

因为需要,我们需要搭建多层代理服务用于消息转发,同时也方便通过跳板机2进行访问互联网,话不多说,上主菜。




0x1 代理选择

现在的代理服务器非常多,如何选择也是一门学问,作者在写这篇文档之前已经尝试过三种代理软件,最终才实现相关需求。


谈到代理,大家首先会想到nginx这一经典的代理服务器,但是很不好的是,它的upstream配置一直不生效,导致没办法实现多层代理(当然也许是我菜~);


tinyproxy,在踩坑nginx之后,我们又想到了tinyproxy,过程很顺利,tinyproxy实现了,我们所需要的需求,不过事情没那么简单,虽然实现了https的转发,但是当主机存在CA证书的时候tinyproxy又不行了,通过查阅相关issue发现tinyproxy只是支持http代理,不支持https代理,故又GG。。


squid这属于一个小插曲,同样也因为无法实现二层代理而告终。


最后,我们的主角出场gost。


0x2 Gost

其功能十分强大,支持TCP,UDP,HTTP/HTTPS等多种协议转发,看到这个简介我都心动不已。


GOST


0x2.1 快速开始

我选择的是通过git + go build的方式手动编译,不过这里有些坑需要我们注意,gost项目对于go的版本是有要求的,小于1.8大于1.3,最佳版本1.73。




源码编译:


git clone <https://github.com/ginuerzh/gost.git>

cd gost/cmd/gost

go build

1

2

3

最后可以得到一个gost的二进制文件。




0x2.2 配置代理

http代理:


./gost -L=账号:密码@0.0.0.0:port

1

https代理:


https代理,我们需要CA证书,可以选择自己申请,或者通过第三方平台生成都行。我这里是自己通过脚本生成的。




./gost -L=https://账号:密码@0.0.0.0:port?probe_resist=code:400\&knock

=your-secret-link.localhost\&cert=证书.crt\&key=证书.key

-F=账号:密码@跳板机2:port

1

2

3

配置完成,出现如下,即为运行成功。




然后,我们可以通过curl命令进行验证是否代理成功。


curl -s -v <http://myip.ipip.net> -x <https://账号:密码@ip>:port

1

出现日志如下。




代理成功(第一台机器是腾讯云的,第二台是阿里云的)。

————————————————

版权声明:本文为CSDN博主「幻丶城」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/qq_26584917/article/details/123630800


READ命令使用顺序查找数据表,这会降低处理速度。取而代之,使用binary search的附加命令,可以使用二分查找算法,可以帮助加快内表查找速度。 在使用binary search之前必须首先将内表排序,否则有可能找不到记录,因为二分查找反复将查找区间对半划分,如果要查找的值小于查找区间的中间位置的数据项值,则查找区间将缩小到前半个区间,否则查找将局限于后半区间。要了解更多的关于二分查找算法介绍,请点击这里。


 


不推荐使用:


 


Read table int_fligh with key airln = ‘LF’.


 


 


推荐使用:


SORT int_fligh by airln.

Read table int_fligh with key airln = ‘LF’ binary search.


在sre的平时运维或者在dev开发过程中我们经常会遇到字符串截取的问题,较经常使用的有cut或者awk,但是shell内置了比较方便的字符串截取方法,用好了能对工作提高很高的效率

 

1、shell中截取字符串的方法有很多中

${expression}一共有9种使用方法。

 

1)以下4种可以用来进行缺省值的替换。

复制代码

${parameter:-word} # 变量为空替换

${parameter:=word} # 变量为空替换,并将值赋值给$parameter

${parameter:?word} # 为空报错

${parameter:+word} # 不为空替换

复制代码

 

2)下面这种可以获得字符串的长度

${#parameter}

 

3)下面4个就是用来截取字符串的方法了。

${parameter%word} 最小限度从后面截取word

${parameter%%word} 最大限度从后面截取word

${parameter#word} 最小限度从前面截取word

${parameter##word} 最大限度从前面截取word

 

2、下面介绍各种截取方法

1)使用 # 号操作符

用途是从左边开始删除第一次出现子字符串即其左边字符,保留右边字符。

用法为#*substr,例如:

str='http://www.hxh.com/cut-string.html'echo ${str#*//}

 

得到的结果为:

www.hxh.com/cut-string.html

即删除从左边开始到第一个"//"及其左边所有字符

 

2)使用 ## 号操作符

用途是从左边开始删除最后一次出现子字符串即其左边字符,保留右边字符。

用法为##*substr,例如:

str='http://www.hxh.com/cut-string.html'echo ${str##*/}

 

得到的结果为

cut-string.html

即删除最后出现的"/"及其左边所有字符

 

3)使用 % 号操作符

用途是从右边开始删除第一次出现子字符串即其右边字符,保留左边字符。

用法为%substr*,例如:

str='http://www.hxh.com/cut-string.html'echo ${str%/*}

 

得到的结果为

http://www.hxh.com

即删除从右边开始到第一个"/"及其右边所有字符

 

4)使用 %% 号操作符

用途是从右边开始删除最后一次出现子字符串即其右边字符,保留左边字符。

用法为%%substr*,例如:

str='http://www.hxh.com/cut-string.html'echo ${str%%/*}

 

得到的结果为

http:

即删除从右边开始到最后一个"/"及其右边所有字符

 

5)从左边第几个字符开始以及字符的个数

用法为:start:len,例如:

str='http://www.hxh.com/cut-string.html'echo ${var:0:5}

 

其中的 0 表示左边第一个字符开始,5 表示字符的总个数。

结果是:

http:

 

6)从左边第几个字符开始一直到结束

用法为:start,例如:

str='http://www.hxh.com/cut-string.html'echo ${var:7}

 

其中的 7 表示左边第8个字符开始

结果是:

www.hxh.com/cut-string.html

 

7)从右边第几个字符开始以及字符的个数

用法:0-start:len,例如:

str='http://www.hxh.com/cut-string.html'echo ${str:0-15:10}

 

其中的 0-15 :这里0-1表示从右边开始,0-15表示从右边开始取,取15个字符,右10 表示从左边开始取的字符长度。

结果是:

cut-string

 

8)从右边第几个字符开始一直到结束

用法:0-start,例如:

str='http://www.hxh.com/cut-string.html'echo ${str:0-4}

 

其中的 0-4:这里0-1表示从右边开始,0-4表示从右边开始取,取4个字符

结果是:

html

 

注:

左边的第一个字符是用 0 表示,右边的第一个字符用 0-1 表示


1、Linux硬盘盘符分配原则

在Linux系统中,若存在多块硬盘,内核分配盘符的顺序是/dev/sda、/dev/sdb、/dev/sdc … …。在系统启动过程中,内核会按照扫描到硬盘的顺序分配盘符

内核中分配盘符函数,见链接http://ilinuxkernel.com/?p=794

 

Linux内核通过IDR(integer ID)整数ID管理机制来分配盘符,即找到一个空闲的整数。内核针对SCSI盘符,从0开始分配整数。整数0对应的盘符为/dev/sda,关系如下:

若index=0,则分配给此块SCSI硬盘的盘符为sda;

若index=1,则分配给此块SCSI硬盘的盘符为sdb;

… …

若index=25,则分配给此块SCSI硬盘的盘符为sdz;

如在有12硬盘的服务器中,每个物理槽位均插一块硬盘,且没有做RAID,硬盘物理槽位关系如下:

  0  3  6  9
  1  4  7  10
  2  5  8  11

那么Linux内核启动后,IDR机制分配的盘符的整数为0、1、2、3、4、5、6、7、8、9、10、11,对应的硬盘盘符如下:

系统运行过程中,若拔掉第5块盘,如下图所示:

则此时系统中,/dev/sde盘符消失,内核针对SCSI盘符的IDR整数4就空闲出来。当再次将该硬盘插入时,得到的盘符仍然是/dev/sde。

 

2、非热插拔硬盘盘符分配示例

如下图,第5个硬盘物理槽位没有硬盘。系统重启后,盘符对应关系如下。系统中没有盘符/dev/sdl,缺少不是最后一块硬盘,而是第5块硬盘。

下图是第5块和第9块物理槽位硬盘不在位时,OS盘符对应关系。

 

从这我们可以看出:

1)非热插拔的磁盘它盘符是按照整数ID来分配

2)由于是非热插拔磁盘不能在通电的时候插入磁盘


 

3、热插拔硬盘盘符分配示例

下图是第1、5、9块硬盘不在位时,OS盘符对应关系,此时没有热插拔硬盘。

系统运行过程中,先热插拔一块到第1个物理槽位,此时得到的盘符为/dev/sdj,然后插入一块硬盘到第9个物理槽位,此时分配的盘符为/dev/sdk。

若插入2块硬盘后,机器重启,则盘符对应关系如下。从这里我们可以看出,硬盘盘符和物理槽位没有必然直接对应关系。

 

从这我们可以看出

1)由于磁盘是热插拔的可以在通电的时候插入磁盘

2)新插入的磁盘盘符是按照整数ID顺序来进行分配的

3)建议平时我们不要随意挪动硬盘,避免系统盘和数据盘调混了


 

4、硬盘盘符为什么会漂移

服务器只有12块物理硬盘,但在系统运行过程中或更换硬盘时,会出现/dev/sdm、/dev/sdn等类似盘符。

下面示例,系统运行过程中,我们把第5块硬盘拔出再插入,此时得到的硬盘盘符可能为/dev/sdm。

当我们拔出硬盘后,内核会调用sd_remove()函数卸载硬盘,正常情况下会清除该硬盘盘符占用的所有资源,包括SCSI盘符对应的IDR整数。但我们拔出硬盘时,若系统有进程正在访问该硬盘,则内核不会删除对应IDR的整数,该整数就会被占用,再次插入硬盘时,就分配新的IDR整数给盘符,导致盘符漂移。

如上面第5块硬盘,内核分配的IDR值为4,但硬盘拔出再插入后,应为IDR值为4没被释放,内核找到空闲的IDR就会12,此时盘符就变为/dev/sdm。盘符变为/dev/sdn等时,以此类推

 

原链接:https://www.cnblogs.com/gentlemanhai/p/14471170.html


1、pgrep是什么?

pgrep是一个命令行程序,可以根据输入给定的条件查找正在运行的程序的进程ID

它可以是完整或部分进程名称,运行该进程的用户或其他属性

 

语法:

1
pgrep(选项)(参数)

 

选项:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
-d, --delimiter <string>  specify output delimiter
 -l, --list-name           list PID and process name
 -a, --list-full           list PID and full command line
 -v, --inverse             negates the matching
 -w, --lightweight         list all TID
 -c, --count               count of matching processes
 -f, --full                use full process name to match
 -g, --pgroup <PGID,...>   match listed process group IDs
 -G, --group <GID,...>     match real group IDs
 -n, --newest              select most recently started
 -o, --oldest              select least recently started
 -P, --parent <PPID,...>   match only child processes of the given parent
 -s, --session <SID,...>   match session IDs
 -t, --terminal <tty,...>  match by controlling terminal
 -u, --euid <ID,...>       match by effective IDs
 -U, --uid <ID,...>        match by real IDs
 -x, --exact               match exactly with the command name
 -F, --pidfile <file>      read PIDs from file
 -L, --logpidfile          fail if PID file is not locked
 --ns <PID>                match the processes that belong to the same

   

参数:

进程名称:指定要查找的进程名称,同时也支持类似grep指令中的匹配模式

 

例子:

-f 选项

# pgrep -f clickhouse-server 
7237672378

 

-l 选项

# pgrep -f clickhouse-server -l72376 clckhouse-watch72378 clickhouse-serv

 

-d 选项

# pgrep -f clickhouse-server -l -d ' '72376 clckhouse-watch 72378 clickhouse-serv

 

-u 选项

复制代码

# 组合模式,查找root或者j-huangxianghai-jk下的进程
pgrep -u root,j-huangxianghai-jk -l201341 kdmflush201343 bioset201488 jbd2/dm-4-8201489 ext4-rsv-conver

# 打印在用户j-huangxianghai-jk用户下且名称中包含sshd
pgrep -u j-huangxianghai-jk sshd -l

复制代码

 

特别说明:

1)pgrep相当于# ps -eo pid,cmd | awk '{print $1,$2}' | grep clickhouse-server

72378 /usr/bin/clickhouse-server

 

2)pgrep查找的是程序名,不包括其参数

复制代码

[root@ck21 j-huangxianghai-jk]# ps aux|grep sshd
root       1511  0.0  0.0 106056  4176 ? Ss   Oct18   0:00 /usr/sbin/sshd -D
root      59820  0.0  0.0 145760  5300 ? Ss   13:59   0:00 sshd: j-huangxianghai-jk [priv]
j-huang+  59828  0.0  0.0 147844  3048 ? S    13:59   0:00 sshd: j-huangxianghai-jk@pts/0root      60147  0.0  0.0 145760  5296 ? Ss   14:00   0:00 sshd: j-huangxianghai-jk [priv]
[root@ck21 j-huangxianghai-jk]# pgrep j-huangxianghai-jk
[root@ck21 j-huangxianghai-jk]# pgrep sshd1511598205982860147

复制代码