一、s3fs工具 s3fs-fuse 是一个采用 c++ 开发的开源应用，它的作用是可以将 AWS S3 以及兼容 S3 API 的第三方对象存储像普通文件系统一样挂载到本地计算机，由于这种功能通过 FUSE 实现，因此只能在 Linux 和 MacOS 上使用。 1.1 什么是FUSE Filesystem in Userspace顾名思义，即在用户空间的文件系统。 为什么要强调用户空间呢？接触过Linux内核的大概会知道，文件系统一般是实现在内核里面的，比如，Ext4、Fat32、NTFS(Kernel原生版)等常见的文件系统，其代码都在内核中，而FUSE特殊之处就是，其文件系统的核心逻辑是在用户空间实现的。 优势 文件系统的改动不用更新内核， FUSE的核心逻辑在用户空间，所以修改文件系统的行为绝大部分修改会在用户空间。这在很多场合是一件很方便的事情。 很容易实现自己的文件系统，理论上它可以实现任何天马行空的文件系统，只要一个开发者实现了基本的文件操作。而这个所谓的文件操作也是自己定义的，甚至可以这个操作可能只是一句打印而已，或者是一件超级复杂的事情，只要这个操作符合开发者的要....

一、软件版本 minio版本：minio.RELEASE.2021-07-12T02-44-53Z mc版本：mc:RELEASE.2021-07-27T06-46-19Z nginx版本：v1.20.1 keepalived版本：v2.2.2（如果已经有SLB则无需部署） 二、部署解决方案 2.1 服务器规划 minio集群服务器规划为一共10台服务器分别为8台minio，2台nginx代理，服务器配置如下： 服务器角色数量CPU/内存数据磁盘 minio服务器88C16G4块1.5T磁盘 nginx代理服务器24C8G无 minio扩容资源(后期扩容)88C16G4块1.5T磁盘 minio备份资源不限不限需要满足存放minio集群所有对象数据的空间容量 注意事项 minio服务节点如果使用虚拟机，需要调度虚拟机到不同的物理宿主机，避免资源竞争。 minio服务器4块数据磁盘需申请独立的磁盘，在物理底层要相互独立避免遇到磁盘io竞争，导致minio性能直线下降（性能下降严重，数据量大时会导致集群不可用） minio数据磁盘最大不超过2T,如果使用lvm逻辑卷，逻辑....

一、minio对象存储基础 1.1 基础概念 MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。 它是与 Amazon S3 云存储服务兼容的 API。 使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。 独立的 MinIO 服务器最适合早期开发和评估。 某些功能，例如版本控制、对象锁定和存储桶复制需要使用擦除编码分布式部署 MinIO。 对于扩展的开发和生产，请在启用擦除编码的情况下部署 MinIO ， 每个 MinIO 服务器最少4个驱动器。 1.2 Minio纠删码 Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏。 默认配置即便您丢失一半数量（N/2）的硬盘，您仍然可以恢复数据。 纠删码是一种恢复丢失和损坏数据的数学算法， Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。 这就意味着如果是12块盘，一个对象会被分成6个数据块、6个奇偶校验块，你可以丢失任意6块盘（不管其是存放的数据块还是奇偶校验块），你仍可以从剩下....

一、Cosbench工具 cosbench是intel开源的针对对象存储开发的测试工具 二、Cosbench安装 运行环境：centos7 依赖软件：JDK nmap-ncat 2.1 单台压测服务器部署 #安装依赖 [16:52:30 root@centos7 ~]#yum install java nmap-ncat #下载cosbench工具压缩包 [16:58:41 root@centos7 ~]#ls 0.4.2.c4 0.4.2.c4.zip [16:59:00 root@centos7 ~]#unzip 0.4.2.c4.zip #删除http_proxy环境变量 [17:00:04 root@centos7 ~]#unset http_proxy #启动cosbench [17:02:09 root@centos7 0.4.2.c4]#bash ./start-all.sh 2.2 多台测试客户端部署 #配置多个driver [17:05:07 root@centos7 0.4.2.c4]#cat conf/controller.conf [controller] d....

压测参数说明 压测数据量为：2个backet，每个backet为10000对象。每个对象大小512kb 所有minio服务内核以及资源优化都相同 整体读写压测时间为10分，读写比例为读写各占百分之50 一共4台压测客户端，每个客户端4个读写进程,整体16个读写线程。 所有测试都经过多次验证 #所有服务器内核优化 https://gitlab.gridsum.com/TechnologySharingCenter/back-end/research/-/issues/18#%E8%84%9A%E6%9C%AC minio服务器数据磁盘性能 多次测试 一、单机测试数据 1.1 单机单个数据盘 单块数据盘并不实现纠删码功能，即数据盘故障minio就无法正常工作，数据存储空间比例为1:1 minio服务器规格4C 16G 操作类型操作数操作产生的数据操作的平均时间吞吐量速率 read154.74kops79.23G11.41ms258.24op/s132.22MB/s write155.01kops79.36G43.12ms258.69op/s132.45MB/s 内存使....