一、CephFS
ceph FS 即 cephfilesystem,可以实现文件系统共享功能(符合POSIX标准-可移植操作系统接 口),以实现内核中的ceph客户端模块被应用程序调用, 客户端通过ceph协议挂载并使用 ceph 集群作为数据存储服务器。
Ceph FS 需要运行MetaDataServices(MDS)服务,其守护进程为ceph-mds,ceph-mds进程管 理与cephFS上存储的文件相关的元数据,并协调对ceph存储集群的访问。
在linux 系统使用ls等操作查看某个目录下的文件的时候,会有保存在磁盘上的分区表 记录文件的名称、创建日期、大小、inode及存储位置等元数据信息,在cephfs由于数据是 被打散为若干个离散的object进行分布式存储,因此并没有统一保存文件的元数据,而且将 文件的元数据保存到一个单独的存储出matedatapool,但是客户端并不能直接访问 matedata pool 中的元数据信息,而是在读写数的时候有MDS(matadataserver)进行处理,读 数据的时候有MDS从matedatapool加载元数据然后缓存在内存(用于后期快速响应其它客 户端的请求)并返回给客户端,写数据的时候有MDS缓存在内存并同步到matedatapool。
删除部署的时候创建的
1 | root@ceph-node1:~# |
1.1 创建cephfs
1 | # 创建元数据存储池 |
1.2 创建用户
1 | root@ceph-node1:~# ceph auth add client.k8s mon 'allow r' mds 'allow rw' osd 'allow rwx pool=cephfs-data' |
客户端验证权限
1 | root@client:~# ceph --user k8s -s |
1.3 内核空间挂载ceph-fs
客户端挂载有两种方式,一是内核空间一是用户空间,内核空间挂载需要内核支持ceph模块,用户空间挂载需要安装ceph-fuse
1 | # 客户端通过key挂载 |
开机挂载
1 | root@client:/etc/ceph# cat /etc/fstab |
二、 对象存储网关RadosGW
数据不需要放置在目录层次结构中,而是存在于平面地址空间内的同一级别
应用通过唯一地址来识别每个单独的数据对象
每个对象可包含有助于检索的元数据
通过RESTfulAPI 在应用级别(而非用户级别)进行访问
2.1 RadosGW 对象存储网关简介
RadosGW 是对象存储(OSS,Object Storage Service)的一种访问实现方式,RADOS 网关也称为 Ceph 对象网关、RadosGW、RGW,是一种服务,使客户端能够利用标准对象存储API来访 问 Ceph 集群,它支持 AWS S3 和 Swift API,在 ceph 0.8 版本之后使用 Civetweb (https://github.com/civetweb/civetweb ) 的web服务器来响应api请求,客户端使用http/https 协议通过RESTfulAPI 与RGW通信,而RGW则通过librados与ceph集群通信,RGW客户端 通过s3或者swiftapi使用RGW用户进行身份验证,然后RGW网关代表用户利用cephx与 ceph 存储进行身份验证。
S3 由Amazon于2006年推出,全称为SimpleStorageService,S3 定义了对象存储,是对象存 储事实上的标准,从某种意义上说,S3就是对象存储,对象存储就是S3,它是对象存储市场 的霸主,后续的对象存储都是对S3的模仿
2.2 RadosGW 存储特点
通过对象存储网关将数据存储为对象,每个对象除了包含数据,还包含数据自身的元数据。
对象通过ObjectID来检索,无法通过普通文件系统的挂载方式通过文件路径加文件名称操 作来直接访问对象,只能通过API来访问,或者第三方客户端(实际上也是对API的封装)。
对象的存储不是垂直的目录树结构,而是存储在扁平的命名空间中,AmazonS3将这个扁平 命名空间称为bucket,而swift则将其称为容器。
无论是bucket还是容器,都不能再嵌套(在bucket不能再包含bucket)。
bucket 需要被授权才能访问到,一个帐户可以对多个bucket授权,而权限可以不同。
方便横向扩展、快速检索数据。
不支持客户端挂载,且需要客户端在访问的时候指定文件名称。
不是很适用于文件过于频繁修改及删除的场景。
ceph 使用bucket 作为存储桶(存储空间),实现对象数据的存储和多用户隔离,数据存储在 bucket 中,用户的权限也是针对bucket进行授权,可以设置用户对不同的bucket拥有不同 的权限,以实现权限管理。
2.2.1 bucket 特性
存储空间(bucket)是用于存储对象(Object)的容器,所有的对象都必须隶属于某个存储空间,
可以设置和修改存储空间属性用来控制地域、访问权限、生命周期等,这些属性设置直接作 用于该存储空间内所有对象,因此可以通过灵活创建不同的存储空间来完成不同的管理功能。
同一个存储空间的内部是扁平的,没有文件系统的目录等概念,所有的对象都直接隶属于其 对应的存储空间。
每个用户可以拥有多个存储空间
存储空间的名称在OSS范围内必须是全局唯一的,一旦创建之后无法修改名称。
存储空间内部的对象数目没有限制。
2.2.2 bucket 命名规范
通用存储桶命名规则 - Amazon Simple Storage Service
只能包括小写字母、数字和短横线(-)。
必须以小写字母或者数字开头和结尾。
长度必须在3-63字节之间。
存储桶名称不能使用用IP地址格式。
Bucket 名称必须全局唯一。
2.3 对象存储访问对比
Amazon S3:提供了user、bucket 和 object 分别表示用户、存储桶和对象,其中bucket隶属 于user,可以针对user设置不同bucket的名称空间的访问权限,而且不同用户允许访问相 同的bucket。
OpenStack Swift:提供了 user、container 和 object 分别对应于用户、存储桶和对象,不过它 还额外为user提供了父级组件account,account用于表示一个项目或租户(OpenStack用户), 因此一个account中可包含一到多个user,它们可共享使用同一组container,并为container 提供名称空间。
RadosGW:提供了user、subuser、bucket 和 object,其中的 user 对应于 S3 的user,而subuser 则对应于Swift的user,不过user和subuser都不支持为bucket提供名称空间,因此,不同 用户的存储桶也不允许同名;不过,自Jewel版本起,RadosGW引入了tenant(租户)用于 为user 和bucket 提供名称空间,但它是个可选组件,RadosGW基于ACL为不同的用户设置 不同的权限控制,如:
Read 读权限
Write 写权限
Readwrite 读写权限
full-control 全部控制权限
1 | 查看默认radosgw的存储池信息: |
2.4 RGW 使用 部署
删除
1 | ceph orch ls --service_type rgw |
1 | # 创建一个领域 global |
为特性领域和区域部署一组radosgw守护程序
1 | root@ceph-node1:~# ceph orch apply rgw prod-rgw --realm=cn --zone=cn-wuxi-1a --placement='2 ceph-node1 ceph-node2' --port=8000 |

2.5 客户端
创建用户
1 | root@ceph-node1:~# radosgw-admin user create --uid='user' --display-name='user1' |
2.5.1 S3cmd
1 | apt update && apt install python3-venv python3-full -y |
1 | (s3cmd-env) root@client:~# s3cmd --configure |
2.5.2 CS Browser (S3 Browser)
CS Browser 是一款功能强大的 Windows 客户端软件,能够与 Amazon S3、Amazon S3 Glacier 以及其他兼容的云存储服务进行协作。它让您可以通过熟悉的 Windows 界面来管理存储桶和文件:上传下载数据、管理权限、组织对象,以及处理各种存储任务,而无需切换到命令行工具进行操作!


2.6 授权
https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/userguide/example-bucket-policies.html
Resources-授权的目的Buckets、objects等资源,必须指定。
Actions: 要授予的动作,CreateBucket、 DeleteObject、 GetObject、 PutObject。 必须指定
Effect: #要授予的操作效果是允许(allow)还是拒绝(deny),默认为拒绝访问所有资源,必须指定。
Principal: 要授权的目的账号,必须指定,
Condition: 授权策略生效的条件,比如访问的TLS版本等,非必须、可不写。“Condition”: {
“NumericLessThan”: {
“s3:TlsVersion”: 1.2
}
}
权限集合:
https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/API/API_Operations.html
1 | (s3cmd-env) root@client:~# s3cmd info s3://hmk |
1 | (s3cmd-env) root@client:~# vi hmkbucket-single_policy |
未授权存储桶
1 | (s3cmd-env) root@client:~# s3cmd mb s3://videos |