作者：潘立峰 ｜ QE-LAB

1.前言

云存储平台提供了海量的存储容量，可提供用户多种存储业务模式，但是，由于用户场景需求、文件块大小、并发情况差异较大，造成服务器压力不均衡、资源闲置，浪费处理能力，频繁报错等问题，却始终困扰着我们。本文通过K8S容器环境、裸金属环境下nfs存储之间 IOPS 读写测试数据比对，通过此测试方案，比较了两种不同环境下NFS存储性能差异。

2.测试目的

本次测试目标仅测试在其他条件完全相同情况下（网络、CPU、内存，硬盘型号和类型，客户端性能），比较K8s集群下容器化的NFS和运行在linux OS下的NFS的 I/O 读写性能差别，并在这两种测试环境下，测试处理mysql 数据库时的读写删除性能，通过测试，比较K8s容器环境和裸金属（用虚拟机模拟）下NFS存储的性能差异。

通过测试，给出容器化和裸金属环境下软硬件资源的配置建议，帮助企业更好地了解NAS类型的存储系统（如NFS）。通过升级或修改其配置，从而提高整体应用程序性能；更有效地故障排查瓶颈和其他问题。

3.存储测试原理和影响因素

• 存储测试原理

影响存储测试性能优劣的因素有很多，如果这些环节配置合理，可以发挥出存储的最佳性能，如果不当，那么任何一个环节都有可能成为瓶颈。通过下图来了解一下，在一个完整的测试过程中，可能会影响测试性能的各因素：

• 影响到存储性能测试的因素

磁盘（磁盘类型，SATA，SAS）

接口（业务口配置，聚合，网卡性能及兼容性）

中间设备（交换机，链路，巨帧）

网络设置（网卡，巨帧）

软件（相关软件设置，测试软件设置及选择）

客户端主机性能(initiator与CPU占用率的关系)

4.测试准备

工具和软件

测试环境

为了消除硬件环境下部分影响因子，本次测试的两个测试环境搭建在同一局域网内（详见拓扑图），统一使用千兆网卡以消除网络相关因素对本次测试影响，同时测试环境使用的虚拟机使用同一服务器的内存、CPU、磁盘，以消除因CPU、内存、磁盘型号不同带来的影响因子，通过资源完全相同的虚拟机客户端配置，消除客户端主机不同带来的影响。

l K8S NFS&mysql配置：

kind: Pod

metadata:

 name: vol-nfs-pod

 labels:

  app: mysql

spec:

 containers:

 \- name: mysql

  image: mysql:5.5

  ports:

  \- containerPort: 3306

   name: mysqlport

  volumeMounts:

  \- mountPath: /data

   name: mysqldata

 volumes:

 \- name: mysqldata

  nfs:

   server: [nfs.ilinux.io](http://nfs.ilinux.io/)

   path: /data/mysql

   readOnly: false

l 容器存储（PV）相关配置

Mysql 容器路径：root@mysql-5.5-d67bfff99-zv7h7:/data#

l 存储卷配置：

5.测试执行

FIO 测试：裸金属存储测试环境、K8s容器存储测试环境、二种测试环境下执行以下命令实施 FIO 存储测试。

fio -direct=1 -iodepth=128 -rw=randrw -ioengine=libaio -bs=4k -size=15G -numjobs=1 -runtime=120 -group_reporting -filename=iotest -name=randrw_test

mysql测试：分别在裸金属存储测试环境、K8s容器存储测试环境容器平台两种测试环境下，通过数据卷存储数据使用 sysbench 从集群内对 mysql执行 OLTP 基准测试时将使用以下命令。

sysbench --db-driver=mysql--mysql-user=root --mysql-password=dangerous --mysql-host=192.168.129.116 --mysql-port=34159 --mysql-db=mysql--range_size=100 --table_size=500000 --tables=10 --threads=5 --events=0 --time=60 --rand-type=uniform /usr/share/sysbench/oltp_read_only.lua prepare

FIO 测试

本节展示了实际的 FIO 测试结果为参考基准提供了相对测试结果，用于比较二种环境的性能优劣。

1.1 FIO 只读测试

在二种环境下执行 FIO 只读测试后，收集的只读测试结果如下表。

资源开销对比

裸金属存储测试环境在 IOPS 和带宽分别为113079和452319，其资源开销约为3%，而K8s容器存储测试环境资源IOPS 和带宽分别为83364和333457，资源开销高达 10% 以上。

延迟和响应时间

裸金属存储测试环境在延迟和响应时间方面同样只有 3% 不到的资源开销；而K8s容器存储测试环境容器平台的资源开销高达 10% 以上。

小结

总之，K8s容器存储测试环境的资源开销是裸金属存储测试环境的3倍，延迟也比后者长 36% 以上。

裸金属存储测试环境的读取性能高于K8s容器存储测试环境，峰值读取 IOPS 在 11 万以上，而K8s容器存储测试环境的峰值 IOPS 只有 8 万出头，仅相当于裸金属存储测试环境的 72%。

1.2 FIO 写入测试

二种环境下执行 FIO 写入测试后，收集的写入测试结果如下表。

资源开销对比

裸金属存储测试环境在 IOPS 和带宽分别为113062和452250，其资源开销约为3%，而K8s容器存储测试环境资源IOPS 和带宽分别为83351和333406，资源开销高达 10% 以上。

延迟和响应时间

裸金属存储测试环境在延迟和响应时间方面同样只有 4% 不到的资源开销，而K8s容器存储测试环境和K8s容器存储测试环境容器平台的资源开销高达 10% 以上。

CPU 利用率

裸金属存储测试环境的 CPU 利用率没有明显变化，而K8s容器存储测试环境资源利用率不足 80%。

小结

总之，K8s容器存储测试环境的资源开销是裸金属存储测试环境的 3倍，延迟也比后者长 36% 以上，而 CPU 利用率只有后者的一半不到。

裸金属存储测试环境的写入性能高于K8s容器存储测试环境，峰值写入 IOPS 在 11 万以上，而K8s容器存储测试环境的峰值 IOPS 只有 8 万出头，约为裸金属存储测试环境的 72%。

1.3 FIO 测试结论

K8s容器存储测试环境的资源开销是裸金属存储测试环境的 3 倍，延迟也比后者高。

裸金属存储测试环境的读写 IOPS 均在 11 万以上，而K8s容器存储测试环境的读写峰值 IOPS 只有 8 万出头。

mysql测试

使用 sysbench 从集群内对 mysql执行 OLTP 基准测试后得出的测试结果，并以裸金属存储测试环境为基准提供了相对测试结果，与K8s容器存储测试环境环境进行了比较。

1.4 测试结果

我们用 sysbench 这款基准测试工具模拟 mysql数据库存储引擎 InnoDB 的磁盘 I/O 模式，在裸金属和K8s容器这两种测试环境下，对 mysql数据库执行了只读、只写、综合读写和删除测试，得出了以下测试结果。

1.5 测试分析

从上表看出，与裸金属存储测试环境相比，K8s容器存储测试环境性能损耗较大，具体表现为：

1. K8s容器存储测试环境的只读性能只有裸金属存储测试环境的 15%，即裸金属存储测试环境是K8s容器存储测试环境容器平台的 6 倍以上。
2. K8s容器存储测试环境只写性能为裸金属存储测试环境的 83%。
3. K8s容器存储测试环境的综合读写性能为裸金属存储测试环境的 52% 左右。
4. K8s容器存储测试环境相比裸金属存储测试环境的删除性能稍微下降 7% 至 9%，差异不大。
5. 同样查询次数，K8s容器存储测试环境耗用的时间为裸金属存储测试环境的 6 到 11 倍。
6. 同样查询次数，K8s容器存储测试环境删除耗用的时间为裸金属存储测试环境的 5 倍以上，综合读写方面差异不大。

6.测试总结

经上述测试，我们发现在 FIO 存储测试中，K8s容器存储的资源开销是原有裸金属存储环境的3倍，延迟和响应时间比裸金属存储高36% 以上；同样在 mysql测试期间，裸金属存储测试环境的只读性能是K8s容器存储测试环境容器平台的 5 倍，综合读写性能是K8s容器存储的一倍。

所以我们建议

Ø 原有裸金属nfs存储业务转换使用K8s容器存储，应增加K8s容器存储节点虚拟芯片的核数为之前裸金属存储所有物理CPU核数的三倍，这样基本可以保证现有业务的稳定性。

Ø 在测试中，我们发现网络的状态会对NFS性能产生较大的影响，建议客户如需要使用NFS服务器对mysql数据库文件做备份的话，相关数据库服务器和NFS服务器划分到一个独立的VLAN里，同时NFS服务器尽量不要运行其他应用。

Ø 另外，在NFS配置UPD传输模式时候,性能会稍差，且容易丢包，,建议使用使用TCP命令在NFS 服务器挂载mysql数据库文件夹，提升网络冗余，防止丢包导致相关mysql数据库文件内容丢失。

 mount -t nfs 192.168.127.198:/data/lys /lys -o proto=tcp -o nolock

7.缩略词和术语表

本节列出了文中出现的所有缩略词和术语，便于理解和查阅。