一:存储架构

根据存储设备所在的位置分类

image

1、DAS

DAS:
(Direct-Attached Storage)直连式存储。服务器使用专用线缆(例如SCSI)和存储设备(例如磁盘阵列)进行直连。

特点

  • 优点是储设备只能连接到一台主机使用,无法共享,成本较高,且安全性可靠性较低
  • 缺点是容量有限,不适合大规模的数据存储和共享。

使用场景
:个人电脑、小型企业、高性能计算环境等。

2、NAS

NAS:
(Network-Attached Storage)网络附加存储。服务器和存储设备非直连,而是通过
ip网络
进行连接,这样就实现了多台主机与存储设备之间的连接。

特点

  • 优点是易于管理、容量可扩展、能够实现共享存储和备份
  • 缺点存在IO瓶颈,性能较低,不适合高性能计算和数据库应用

使用场景
:文件共享、备份和存储等。

3、SAN

SAN:
(Storage Area Network)存储区域网络。基于NAS发展而来,通过
专用光纤通道交换机
访问数据,采用ISCSI、FC协议。

特点

  • 优点:解决了NAS的IO瓶颈问题,因为采用光纤、iSCSI等协议来连接设备,速度很快。
  • 缺点:价格昂贵、结构复杂、需要专业的维护和管理。

使用场景
:数据中心、虚拟化、云计算等环境

NAS和SAN区别
SAN:

可以理解为一种虚拟化存储的技术,它将存储设备从服务器中分离出来,形成一个独立的存储网络。

客户端访问这些存储设备,就像访问本地硬盘一样。因此,客户端可以对这些存储设备进行格式化、分区、挂载等操作。

NAS:

可以理解为一个存储服务器,它已经预先安装了操作系统和文件系统,并且已经格式化好了磁盘,因此客户端设备可以直接通过网络连接到NAS上来访问数据,而不需要进行格式化或设置文件系统等操作。

客户端设备可以通过网络共享协议(如SMB/CIFS、NFS、AFP等)访问NAS上的数据。

块存储和文件存储

  • 块存储:
    是将数据切分为固定大小的块(block),每个块都有唯一的地址,可以单独进行读写和处理。
    DAS和SAN使用的就是块存储。
  • 文件存储:
    是将数据以文件形式存储在一个统一的文件系统中,每个文件都有唯一的名称和路径,文件系统可以通过文件名或路径名来定位文件。
    NAS使用的就是文件存储。
    image

二:文件共享服务

UNC 格式:

UNC:
(Universal Naming Convention)通用命名规则。由微软公司发明,是一种用于在网络上指定文件或文件夹位置的命名约定,允许用户通过网络共享访问文件和文件夹。

UNC格式广泛使用在windows中,Linux中也支持这种格式,例如使用Samba软件包来实现文件和打印机的共享。

格式:
\\server\share
使用反斜杠(\)作为分隔符

  • server:表示共享资源所在的计算机名称或IP地址
  • share: 表示共享资源的名称

注意:

UNC路径
不能指定端口号
,因为端口号不是共享资源的一部分,所以使用UNC格式的路径时不能指定端口号。

\\10.0.0.22:446\share 是错误的

1、FTP

FTP:
(File Transfer Protocol )文件传输协议,属于应用层协议,是NAS存储架构的一种协议,基于CS结构。

FTP和NAS的区别:
FTP是一个应用层协议,用于实现跨主机传输文件,NAS是一种网络架构,NAS可以使用各种协议进行文件传输,包括FTP、SMB、NFS等,因此,FTP可以用于在NAS中传输文件,但它本身不属于NAS这种网络架构。

FTP的特点:
跨平台:windows、linux等操作系统都支持FTP协议。

FTP工作原理:
采用的是双端口模式,分为命令端口和数据端口,命令端口对应命令通道,数据端口对应数据通道。

  • 命令通道:客户端和服务端之间传输FTP命令和响应,以控制文件传输的整个过程。服务端的默认端口是tcp/21。
  • 数据通道:客户端和FTP服务器之间实际传输数据的通道。

FTP的两种工作模式:

  • 主动模式:FTP服务器主动连接客户端,这个时候FTP服务器的数据端口使用的是20端口。
  • 被动模式:客户端主动连接FTP服务器,这时候FTP服务器的数据端口是随机的。

说明:
两种工作模式是针对数据通道的建立来说的,无论是主动模式还是被动模式,FTP客户端都需要连接到FTP服务器的21号端口,以建立命令通道。

FTP的工作流程:
(1)FTP服务端开启对21端口的监听,等待客户端的连接。
(2)客户端发起连接,通过连接到服务端的21端口,建立命令通道。
(3)进行数据交互:

  • ​ 主动模式:服务端主动找客户端建立数据通道,这个时候服务端使用的数据端口是20端口,客户端随机。
  • ​ 被动模式:客户端主动连接服务端,这个时候双方使用的端口都是随机的。

FTP的实现:
windows

  • 客户端:浏览器 、资源管理器、Filezilla等
  • 服务端:FileZilla Server、IIS等

Linux

  • 客户端:ftp、wget、curl
  • 服务端:vsftpd、Wu-ftpd

Linx中用于搭建FTP服务器的工具:VSFTP

特点
:性能好、下载速度快、单机可支持15k并发量。红帽默认使用的ftp服务端工具就是vsftp

2、NFS

NFS:
(Network File System) 网络文件系统,基于内核的文件系统。Sun 公司开发,通过使用 NFS,用户和程序可以像访问本地文件一样访问远端系统上的文件,基于RPC(Remote Procedure Call Protocol )远程过程调用实现。

NFS工作原理:

  • 客户端发起挂载请求:客户端需要访问远程主机上的文件,它会向NFS服务器发起挂载请求。
  • 服务器返回挂载信息:服务器返回需要挂载的目录信息,包括目录的文件系统类型、权限和访问方式等。
  • 客户端进行挂载:客户端使用NFS协议挂载远程目录,将目录挂载到本地的一个挂载点上,此时客户端可以像访问本地文件一样访问远程文件。
  • 客户端读写文件:客户端通过挂载点访问远程文件,当客户端需要读写远程文件时,它会发送NFS请求到服务器,请求服务器读取或写入文件数据。
  • 服务器响应请求:服务器接收到客户端的请求后,会读取或写入相应的文件数据,并将结果返回给客户端。
  • 客户端卸载挂载点:当客户端不再需要访问远程文件时,它会卸载挂载点,断开与NFS服务器的连接。

NFS使用的端口:

  • Portmap(RPC bind)服务: Portmap服务使用TCP或UDP端口666666,它是NFS和其他RPC服务的注册和映射程序。
  • NFS服务:NFS服务使用TCP或UDP端口2049,它是NFS协议的主要端口。
  • Nlockmgr(Network Lock Manager)服务:Nlockmgr服务使用TCP或UDP端口32803,它用于提供NFS文件锁定服务。
  • Mountd(Mount Daemon)服务:Mountd服务使用TCP或UDP端口20048,它是NFS挂载协议的主要服务。

NFS的相关进程:

  • rpc.nfsd 最主要的NFS进程,管理客户端是否可登录
  • rpc.mountd 挂载和卸载NFS文件系统,包括权限管理
  • rpc.lockd 非必要,管理文件锁,避免同时写出错
  • rpc.statd 非必要,检查文件一致性,可修复文件

说明:CentOS 6 开始portmap进程由rpcbind代替

NFS的使用场景:

场景一:Linux和LInux之间实现文件共享:

服务端共享出某个目录后,客户端直接挂载进行使用。
image

场景二:Linux和Windows之间实现文件共享:

Linux作为服务端,windows挂载linux的共享目录为本地的一个磁盘,Windows需要开启NFS客户端功能。
image
image

NFS的使用场景:

NFS:适用于需要在Unix和Linux系统之间进行文件共享的环境,例如服务器集群和高性能计算环境。

3、samba

Samba是一种基于Windows的文件共享协议开发而来的软件,它可以在Windows、Linux和Unix系统之间共享文件和打印机。Samba可以让Linux或Unix系统像Windows一样作为文件服务器,从而方便Windows系统用户访问和使用共享文件和打印机。

SMB协议:
(Server Messages Block)信息服务块协议,由ibm开发,最早用在微软的dos系统上面,windows之间的文件共享就是使用SMB协议实现的。

CIFS:
(common internet file system)通用网络文件系统,基于smb协议开发而来的文件系统,可以理解为SMB协议的升级版。

samba服务使用的端口:

默认是445和139端口

  • 445端口:实现Internet文件共享
  • 139端口:文件和打印共享

samba的使用场景:
场景一:Linux作为服务端,Windows作为客户端实现文件共享
image

通过网络驱动映射器映射为windows本地的一个磁盘。
image

场景二:windows作为服务端,linux作为客户端实现文件共享
image

samba服务存在的问题:

因为以前永恒之蓝病毒和smb1的漏洞,运营商直接把139和445这两个端口给屏蔽了,即使手动在防火墙打开这两个端口也没法使用。

windows的文件共享又默认使用的是139和445端口,无法更改客户端的端口。

在linux作为服务端,windows作为客户端的时候,因为windows默认端口没法更改,且使用的是UNC路径进行访问。

解决方法:

方法一:配置本地端口映射转发

# https://blog.csdn.net/weixin_42552016/article/details/128421145
netsh interface portproxy add v4tov4 
		listenport=445 listenaddress=127.0.0.1 connectport=4450 connectaddress=116.116.132.151

image

方法二:使用端口转发驱动

# Multi Port Forwarder驱动
	# https://tubecast.webrox.fr/landrive/portmapping.html
	# https://www.verigio.com/products/multi-port-forwarder/default

image

4、使用场景

samba:
用于在Windows和Linux系统之间进行文件共享。

NFS:
支持多种操作系统,一般使用在linux和linux之间的文件共享,也可以实现windows和linux之间的文件共享。

FTP:
FTP不像Samba和NFS一样提供文件系统级别的共享,它只是提供了一种简单的方式来传输文件,客户端通过FTP客户端软件连接到FTP服务器,然后可以上传和下载文件。FTP一般使用在将文件从一个计算机上传到另一个计算机。

三:跨主机拷贝文件

1、SCP工具

scp是基于ssh协议开发的ssh客户端工具。

# 使用格式                 
   #   Pull: 	scp  [option]  /source_file   [user@]remote_host/dest_file
   #   Push: 	scp  [option]  [user@]remote_host/dest_file  /source_file
# 选项
	-r:复制文件夹
	-P PORT 指明remote host的监听的端口
# 说明 复制目录文件后面有无斜线的区别
	# 有斜线:复制文件夹里面的内容。 例如:scp /data/ 10.0.0.22:~/    表示复制data中的文件
	# 无斜线:复制整个文件夹 		 例如:scp /data  10.0.0.22:~/ 表示复制data整个目录

例如:

# 不写用户名默认使用的就是当前主机使用的用户
scp -r /data 10.0.0.22:/newdata   # 将本机的data目录推到10.0.0.22的newdata中

scp -r 10.0.0.22:/newdata /data   # 将10.0.0.22的newdata拉到本机的/data目录中

2、rsync工具

rsync是基于ssh协议开发的ssh客户端工具。有三种工作模式:

选项:

# -a         保留源文件的属性,但是无法保留acl和selinux属性  -a选项自带递归的功能
# -v         显示详细的过程
# --delete   保证两边的数据一样,如果目标文件存在某个源文件没有的文件,就会把目标文件的这个文件删除掉
# -t --times 保持mtime属性 强烈建议任何时候都加上"-t",否则目标文件mtime会设置为当前系统时间,导致下次更新,检查出mtime不同从而导致增量传输无效

(1)本地模式:
作用就类似于cp、mv等命令,实现本地文件系统的拷贝、重命名等作用。

# 格式: rsync [OPTION] SRC... [DEST]

# 例如:
    [root@LAP1 data]# rsync file1  file666666 # 实现文件拷贝功能
    [root@LAP1 data]# ls
    file1   file666666 

(2)基于传统的SSH协议模式
:类似于scp的作用,实现远程主机拷贝

# Pull:rsync [OPTION...] [USER@]HOST:SRC... [DEST]
# Push:rsync [OPTION...] SRC... [USER@]HOST:DEST

# 例如
	rsync  -av  /etc server1:/tmp    # 复制目录和目录下文件
	rsync  -av /etc/ server1:/tmp   # 只复制目录下文件 和scp一样
	rsync -av --delete source_file host:/dest_file  # 跨主机备份
		# rsync -av --delete /data/  10.0.0.12:/back

(3)作为一个独立服务模式

rsync作为一个独立的服务运行,

Pull:
	# rsync [OPTION...] [USER@]HOST::SRC... [DEST]
	# rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST] # 协议的形式访问,效果等同于上面

Push:
	# rsync [OPTION...] SRC... [USER@]HOST::DEST
	# rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

例如:

rsync  -av  /etc server1:/tmp    # 复制目录和目录下文件
rsync  -av /etc/ server1:/tmp   # 只复制目录下文件 和scp一样
rsync -av --delete source_file host:/dest_file  # 跨主机备份

说明:
本地模式和ssh模式是通过本地或远程shell,而独立服务运行模式则是让远程主机上运行rsyncd服务,使其监听在一个端口上,等待客户端的连接。

四:文件定时同步

rsync + cron计划任务

可以实现最快每1分钟同步一次文件。

说明:
rsync使用的是基于传统的SSH协议的工作模式

例如:

root@ubuntu1804:~# crontab -e
# m h  dom mon dow   command
*/10 * * * * /usr/bin/rsync -av --delete /data/  10.0.0.12:/back

五:文件实时同步

监听文件的相关属性事件,文件发生变化的时候就触发同步,使用inotify或者sersync监听文件的变化。

1、inotify + rsync

inotify
:系统内核的一个监控服务,属于操作系统内核的一个特有机制,用于监控文件的信息变化。

inotify管理工具:
来自于inotify-tools软件包,软件包里面包含了两个主要的工具inotifywait和inotifywatch。

  • inotifywait: 在被监控的文件或目录上等待特定文件系统事件(open ,close,delete等)发生,常用于实时同步的目录监控(主要使用的就是这个工具)
  • inotifywatch:收集被监控的文件系统使用的统计数据,指文件系统事件发生的次数统计

rsync
:使用的是rsync的第三种工作模式(独立服务模式)。

例如:
image

# 1. 备份服务器启动 rsync 进程,进程启动后监听tcp的873端口。

# 2. 服务器的inotify发现数据发生变化后,就执行:
		rsync -av /data ehigh@192.168.0.104::/databackup    # 以服务的形式访问
		# rsync -av /data rsync://192.168.0.104/databackup  # 以协议的形式访问

2、sersync + rsync

sersync类似于inotify,同样用于监控,是基于inotify基础上开发而来,并且克服了inotify一个操作可能会产生重复的事件,这样可能会触发rsync的多次同步的问题。

sersync特点:

  • 会对对linux系统文件系统产生的临时文件和重复的文件操作进行过滤,在结合rsync同步的时候,节省了运行时耗和网络资源
  • 配置简单,提供了要给xml配置文件和一个二进制可执行文件
  • 采用多线程模式
  • 自带crontab功能
# sersync项目地址: https://code.google.com/archive/p/sersync/
# sersync下载地址: https://code.google.com/archive/p/sersync/downloads

例如:
image

标签: none

添加新评论