一、s3fs工具 s3fs-fuse 是一个采用 c++ 开发的开源应用,它的作用是可以将 AWS S3 以及兼容 S3 API 的第三方对象存储像普通文件系统一样挂载到本地计算机,由于这种功能通过 FUSE 实现,因此只能在 Linux 和 MacOS 上使用。 1.1 什么是FUSE Filesystem in Userspace顾名思义,即在用户空间的文件系统。 为什么要强调用户空间呢?接触过Linux内核的大概会知道,文件系统一般是实现在内核里面的,比如,Ext4、Fat32、NTFS(Kernel原生版)等常见的文件系统,其代码都在内核中,而FUSE特殊之处就是,其文件系统的核心逻辑是在用户空间实现的。 优势 文件系统的改动不用更新内核, FUSE的核心逻辑在用户空间,所以修改文件系统的行为绝大部分修改会在用户空间。这在很多场合是一件很方便的事情。 很容易实现自己的文件系统,理论上它可以实现任何天马行空的文件系统,只要一个开发者实现了基本的文件操作。而这个所谓的文件操作也是自己定义的,甚至可以这个操作可能只是一句打印而已,或者是一件超级复杂的事情,只要这个操作符合开发者的要....

对象存储压力性能测试工具
一、Cosbench工具 cosbench是intel开源的针对对象存储开发的测试工具 二、Cosbench安装 运行环境:centos7 依赖软件:JDK nmap-ncat 2.1 单台压测服务器部署 #安装依赖 [16:52:30 root@centos7 ~]#yum install java nmap-ncat #下载cosbench工具压缩包 [16:58:41 root@centos7 ~]#ls 0.4.2.c4 0.4.2.c4.zip [16:59:00 root@centos7 ~]#unzip 0.4.2.c4.zip #删除http_proxy环境变量 [17:00:04 root@centos7 ~]#unset http_proxy #启动cosbench [17:02:09 root@centos7 0.4.2.c4]#bash ./start-all.sh 2.2 多台测试客户端部署 #配置多个driver [17:05:07 root@centos7 0.4.2.c4]#cat conf/controller.conf [controller] d....

rclone工具之对象存储数据备份
安装rclone工具: 下载地址:https://hub.fastgit.org/rclone/rclone/releases/tag/v1.56.0 安装工具: yum install ./rclone-v1.56.0-linux-amd64.rpm 配置工具: 使用命令rclone config随便生成一个配置文件 之后修改生成的配置文件,配置文件默认路径~/.config/rclone/rclone.conf 根据环境修改配置文件 [13:05:05 root@centos7 ~]#cat .config/rclone/rclone.conf # Encrypted rclone configuration File [minio] type= s3 evn_auth= false access_key_id = ******** #密钥 secret_access_key = ******** #密钥 region = us-east-1 endpoint = http://****:*** #对象存储访问地址 location_constraint = server_side....

Ceph分布式存储
一、分布式存储概述 1.1 存储分类 单机存储 SCSI/SAS/USB/PCI-E、SSD/NVME(提升性能) 网络存储(带文件系统) NFS/Samba/NAS SAN:SAN(Storage Area Network,存储区域网络 块设备-块级别存储 ISCSI-Internet Small Computer System Interface(小型计算机系统接口,又称为 IP-SAN,是一种基于网络的的存储技术) FC-SAN 单机磁盘的空间问题、IO 问题、高可用问题- 商业解决方案-EMC、NetAPP、戴尔、华为、浪潮 分布式存储 Ceph,TFS,FastDFS,MogileFS,MooseFS,GlusterFS 常见分布式存储对比:https://www.cnblogs.com/yswenli/p/7234579.html 服务分为读数据和写数据,读可以在任何一个节点读,但是写只能写在特定的节点,如 Redis 的 master、zookeeper 的 leader、MySQL 的master等场景。 1.2 数据分类及存储分类 数据分为元数据和数据: 分布....