Brc's blog
Brc
2021-08-04
目录

NFS网络文件系统

# NFS基本概述

# 什么是NFS？

NFS是Network File System的缩写即网络文件系统。[通常我们称NFS为共享存储]

# NFS能干什么？

NFS的主要功能是通过局域网络让不同主机系统之间可以共享目录。

# 为什么要使用NFS？

  • 在网站集群架构中如果没有共享存储的情况如下：
    • A用户上传图片经过负载均衡，负载均衡将上传请求调度至WEB1服务器上。
    • B用户访问A用户上传的图片，此时B用户被负载均衡调度至WEB2上，因为WEB2上没有这张图片，所以B用户无法看到A用户传的图片。

image-20210804170735313

  • 在网站集群架构中如果有共享存储的情况如下：
    • A用户上传图片无论被负载均衡调度至WEB1还是WEB2，最终数据都被写入至共享存储
    • B用户访问A用户上传图片时，无论调度至WEB1还是WEB2，最终都会上共享存储访问对应的文件，这样就可以访问到资源了

image-20210804172218248

# 使用NFS共享存储能解决集群架构的什么问题？

  • 解决多台web静态资源的共享（所有客户端都挂载服务端，看到的数据都一样）
  • 解决多台web静态资源一致性（如果客户端A删除NFS服务上的test文件，客户端B上也会看不见test文件）
  • 解决多台web磁盘空间的浪费

# 企业使用NFS注意事项

  • 由于用户请求静态资源每次都需要web连接NFS服务获取，那么势必会带来一定的网络开销、以及网络延时、所以增加NFS服务并不能给网站带来访问速度的提升。
  • 如果希望对上传的图片、附件等静资源进行加速，建议将静态资源统一存放至NFS服务端。这样便于后期统一推送至CDN，以此来实现资源的加速。

# NFS实现原理

image-20210804172814900

  • 本地文件操作方式

    • 当用户执行mkdir命令，BashShell无法完成该命令操作，会将其翻译给内核；
    • Kernel内核解析完成后会驱动对应的磁盘设备，完成创建目录的操作；

  • NFS实现原理（需要先了解程序|进程|线程）

    • NFS客户端执行增、删等操作，客户端会使用不同的函数对该操作进行封装；
    • NFS客户端会通过TCP/IP的方式传递给NFS服务端；
    • NFS服务端接收到请求后，会先调用portmap进程进行端口映射；
    • nfsd进程用于判断NFS客户端是否拥有权限连接NFS服务端；
    • rpc.mount进程判断客户端是否有对应的权限进行验证；
    • idmap进程实现用户映射和压缩；
    • 最后NFS服务端会将客户端的函数转换为本地能执行的命令，然后将命令传递至内核，由内核驱动硬件；

注意rpc是一个远程过程调用，那么使用nfs必须有rpc服务

# NFS服务安装

  1. 环境准备

    服务器系统 角色 外网IP 内网IP
    CentOS 7.6 NFS服务端 eth0:10.0.0.31 eth1:172.16.1.31
    CentOS 7.6 NFS客户端 eth0:10.0.0.41 eth1:172.16.1.41

  2. 关闭防火墙

    # 1.关闭Firewalld防火墙
[root@nfs ~]# systemctl disable firewalld
[root@nfs ~]# systemctl stop firewalld

# 2.关闭selinux
[root@nfs ~]# sed -ri '#^SELINUX=#cSELINUX=Disabled' /etc/selinux/config
[root@nfs ~]# setenforce 0
    1
    2
    3
    4
    5
    6
    7

  3. 安装nfs-server服务

    [root@nfs ~]# yum install nfs-utils -y
    1

  4. 配置nfs服务，nfs服务程序的配置文件为/etc/exports，需要严格按照共享目录的路径 允许访问的NFS客户端 (共享权限参数)格式书写，定义要共享的目录与相应的权限，具体书写方式如下图所示。

image-20210804174021861

  1. 配置场景，将nfs服务端的/data目录共享给172.16.1.0/24网段内的所有主机

    1. 所有客户端主机都拥有读写权限
    2. 在将数据写入到NFS服务器的硬盘中后才会结束操作，最大限度保证数据不丢失
    3. 将所有用户映射为本地的匿名用户（nfsnobody）
    # NFS客户端地址与权限之间没有空格
[root@nfs ~]# vim /etc/exports
/data	172.16.1.0/24(rw,sync,all_squash)

# 在NFS服务器上建立用于NFS文件共享的目录，并设置对应权限
[root@nfs ~]# mkdir /data
[root@nfs ~]# chown -R nfsnobody.nfsnobody /data

# NFS共享目录会记录至/var/lib/nfs/etab，如果该目录不存在共享信息，请检查/etc/exports是否配置错误
    1
    2
    3
    4
    5
    6
    7
    8
    9

  2. 在使用NFS服务进行文件共享之前，需要使用RPC(Remote Procedure Call)远程过程调用服务将NFS服务器的IP地址和端口号信息发送给客户端。因此，在启动NFS服务之前，需要先重启并启用rpcbind服务程序，同时都加入开机自启动

    # 加入开机自启
[root@nfs ~]# systemctl enable rpcbind nfs-server

# 启动服务
[root@nfs ~]# systemctl restart rpcbind nfs-server
    1
    2
    3
    4
    5

# NFS挂载卸载

NFS客户端的配置步骤也十分简单。先使用showmount命令查询NFS服务器的远程共享信息，其输出格式为共享的目录名称 允许使用客户端地址。

  • 安装客户端工具，安装nfs-utils即可，会自动启动rpcbind服务。

    [root@nfs-client ~]# yum -y install nfs-utils
    1

  • 客户端使用showmount -e查看远程服务器rpc提供的可挂载nfs信息

    [root@nfs-client ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
    1
    2
    3

  • 在NFS客户端创建一个挂载目录，使用mount命令并结合-t参数，指定要挂载的文件系统的类型，并在命令后面写上服务器的IP地址，以及服务器上的共享目录，最后需要写上要挂载到本地系统（客户端）的目录。

    [root@nfs-client ~]# mkdir /nfsdir
[root@nfs-client ~]# mount -t nfs 172.16.1.31:/data /nfsdir

# 查看挂载信息（mount也可以查看）
[root@nfs-client ~]# df -h
Filesystem			Size Used Avail Use% Mounted on
/dev/sda3			 62G 845M	58G	  2% /
tmpfs				244M	0  244M	  0% /dev/shm
/dev/sda1			190M  26M  155M  14% /boot
172.16.1.31:/data	 62G 880M   58G   2% /nfsdir
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10

  • 挂载成功后可以进行增删改操作

    # 使用客户端往nfs存储写入
[root@nfs-client ~]# echo "nfs-client" >> /nfsdir/test.txt

# 检查nfs服务端是否存在客户端创建的新文件
[root@nfs ~]# cat /data/test.txt
nfs-client
    1
    2
    3
    4
    5
    6

  • 如果希望NFS文件共享服务能一直有效，则需要将其写入到/etc/fstab文件中

    [root@nfs-client ~]# vim /etc/fstab
172.16.1.31:/data /nfsdir nfs defaults 0 0
    1
    2

  • 如果不希望使用NFS共享，可进行卸载

    [root@nfs-client ~]# umount /nfsdir

# 注意：卸载的时候如果提示"umount.nfs: /nfsdir: device is busy”
# 1.切换至其他目录，然后在进行卸载。
# 2.NFS Server宕机，强制卸载umount -lf /nfsdir
    1
    2
    3
    4
    5

  • 在企业工作场景，通常情况NFS服务器共享的只是普通静态数据（图片、附件、视频），不需要执行suid、exec等权限，挂载的这个文件系统只能作为数据存取之用，无法执行程序，对于客户端来讲增加了安全性。例如：很多木马篡改站点文件都是由上传入口上传的程序到存储目录。然后执行的。

    # 通过mount -o指定挂载参数，禁止使用suid，exec，增加安全性能
[root@nfs-client ~]# mount -t nfs -o nosuid,noexec,nodev 172.16.1.31:/data /mnt
    1
    2

  • 有时也需要考虑性能相关参数[可选]

    # 通过mount -o指定挂载参数， 禁止更新目录及文件时间戳挂载
[root@nfs-client ~]# mount -t nfs -o noatime,nodiratime 172.16.1.31:/data /mnt
    1
    2

# NFS配置详解

执行man exports命令，然后切换到文件结尾，可以快速查看如下样例格式：

nfs共享参数 参数作用
rw* 读写权限
ro 只读权限
root_squash 当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户（不常用）
no_root_squash 当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员（不常用）
all_squash 无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户（常用）
no_all_squash 无论NFS客户端使用什么账户访问，都不进行压缩
sync* 同时将数据写入到内存与硬盘中，保证不丢失数据
async 优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据
anonuid* 配置all_squash使用，指定NFS的用户UID，必须存在系统
anongid* 配置all_squash使用，指定NFS的用户UID，必须存在系统

# 验证ro权限实践

  1. 服务端修改rw为ro参数
[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(ro, sync,all_squash)
[root@nfs ~]# systemctl restart nfs -server
1
2
3
  1. 客户端验证
[root@nfs-client ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@nfs-client ~]# df -h
Filesystem			Size	Used Avail Use% Mounted on
172.16.1.31:/data	 98G	1.7G   97G	2% /mnt

# 发现无法正常写入文件
[root@nfs-client mnt]# touch file
touch: cannot touch "file': Read-only file system
1
2
3
4
5
6
7
8

# 验证all_squash、anonuid、anongid权限

  1. NFS服务端配置

    [root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw, sync,all squash, anonuid=666, anongid=666)
    1
    2

  2. 服务端需要创建对应的用户

    [root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u 666 -g 666 www
[root@nfs ~]# id Www
uid=666(www) gid=666(www) groups=666(www)
    1
    2
    3
    4

  3. 重载nfs-server

    [root@nfs ~]# systemctl restart nfs-server
[root@nfs ~]# cat /var/lib/nfs/etab
/data	172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=666,anongid=666,sec=sys,secure,root_squash,all_squash)
    1
    2
    3

  4. 授权共享目录为www

    [root@nfs ~]# chown -R www.www /data/
[root@nfs ~]# ll -d /data/
drwxr-xr-x 3 www www 53 Sep 3 02:08 /data/
    1
    2
    3

  5. 客户端验证

    [root@nfs-client ~]# umount /mnt/
[root@nfs-client ~]# mount -t nfs 172.16.1.31:/data /mnt
    1
    2

  6. 客户端查看到的文件，身份是666

    [root@nfs-client ~]# ll /mnt/
drwxr-xr-x 2 666 666 6 Sep 3 02:08 rsync_dir
-rw-r--r-- 1 666 666 0 Sep 3 02:08 rsync_file
    1
    2
    3

  7. 客户端依旧能往/mnt目录下写文件

    [root@nfs-client mnt]# touch fff
[root@nfs-client mnt]# mkdir 111
[root@nfs-client mnt]# ll
drwxr-xr-x 2 666 666 6 Sep 3 03:05 111
-rW-r--r-- 1 666 666 0 Sep 3 03:05 fff
    1
    2
    3
    4
    5

  8. 建议：将客户端也创建一个uid为666，gid为666，统一身份，避免后续出现权限不足的情况

    [root@nfs-client mnt]# groupadd -g 666 www
[root@nfs-client mnt]# useradd -g 666 -u 666 www
[root@nfs-client mnt]# id www
uid=666(www) gid=666(www) groups=666(www)
    1
    2
    3
    4

  9. 最后检查文件的身份

    [root@nfs-client mnt]# ll /mnt/
total 4
drwxr-xr-x 2 www www 6 Sep 3 03:05 111
-rw-r--r-- 1 www www 0 Sep 3 03:05 fff
    1
    2
    3
    4

# NFS存储总结

  • NFS存储优点

    • NFS简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求
    • NFS的数据都在文件系统之上，所有数据都是能看得见

  • NFS存储局限

    • 存在单点故障如果构建高可用维护麻烦web>nfs()->backup
    • NFS数据都是明文，并不对数据做任何校验，也没有密码验证（强烈建议内网使用）

  • NFS应用建议

    • 生产场景应将静态数据（jpg\png\mp4\avi\css\js）尽可能放置CDN场景进行环境以此来减少后端存储压力
    • 如果没有缓存或架构、代码等，本身历史遗留问题太大，再多存储也没意义
#Linux
Last Updated: 2024/03/29, 17:39:25
Chrony时间同步
shell基础

← shell基础→

最近更新
01
谷歌云创建GKE集群
07-26
02
ElastiCacheForRedis启用密码
07-26
03
upload-to-gcs
06-29
更多文章>
Theme by Vdoing | Copyright © 2021-2024 Brc | MIT License | 浙ICP备19031881号-4