ceph rgw同步
· ☕ 2 分钟 · ✍️ starifly
环境
- 源 ceph 集群（192.168.5.203:20003）
- 基于源集群创建一个新的 rgw 端点(192.168.5.128:7480)，用于将数据同步到另一个 S3提供者
- S3 目标（192.168.4.13:7480）
操作步骤
准备存储池
Ceph与其它存储系统对比
· ☕ 1 分钟 · ✍️ starifly
Ceph与其它存储系统对比
k8s ingress 2022部署方案
· ☕ 4 分钟 · ✍️ starifly
之前的文章已经介绍过ingress，这里说明怎么部署新版的ingress
版本说明
inrress-nginx版本为1.4.0，k8s版本为1.23.6，具体版本匹配参考 https://github.com/kubernetes/ingress-nginx。
k8s ingress
· ☕ 6 分钟 · ✍️ starifly
Ingress简介
service的作用
- 对集群内部，它不断跟踪pod的变化，更新endpoint中对应pod的对象，提供了ip不断变化的pod的服务发现机制
- 对集群外部，他类似负载均衡器，可以在集群内外部对pod进行访问
外部访问k8s集群内的服务
- NodePort: 测试环境使用还行，当有几十上百的服务在集群中运行时，NodePort的端口管理就是个灾难
- LoadBalancer: 受限于云平台，且通常在云平台部署LoadBalancer还需要额外的费用
- Ingress: 可以简单理解为service的service，它其实就是一组基于域名和URL路径，把用户的请求转发到一个或多个service的规则
Ingress组成
ingress
- ingress是一个API对象，通过yaml文件来配置，ingress对象的作用是定义请求如何转发到service的规则，可以理解为配置模板
- ingress通过http或https暴露集群内部service，给service提供外部URL、负载均衡、SSL/TLs能力以及基于域名的反向代理。ingress要依靠ingress-controller来具体实现以上功能
ingress-controller
- ingress-controller是具体实现反向代理及负载均衡的程序，对ingress定义的规则进行解析，根据配置的规则来实现请求转发
- ingress -controller并不是k8s自带的组件，实际上ingress-controller只是一个统称，用户可以选择不同的ingress-controller实现，目前，由k8s维护的ingress-controller只有google云的ccz与ingress-nginx两个，其他还有很多第三方维护的ingres-controller，具体可以参考官方文档。但是不管哪一种ingress-controller，实现的机制都大同小异，只是在具体配置上有差异
3.一般来说，ingress-controller的形式都是一个pod,里面跑着daemon程序和反向代理程序。daemon负责不断监控集群的变化，根据ingress对象生成配置并应用新配置到反向代理，比如ingress -nginx就是动态生成nginx配置，动态更新upstream，并在需要的时候reload程序应用新配置。为了方便，后面的例子都以k8s官方维护的ingress-nginx为例
Ingress工作原理
- ingress-controller通过和 kubernetes APIServer 交互，动态的去感知集群中ingress规则变化
- 然后读取它，按照自定义的规则，规则就是写明了哪个域名对应哪个service，生成一段nginx配置
- 再写到nginx-ingress-controller的pod里，这个ingress-controller的pod里运行着一个nginx服务，控制器会把生成的nginx配置写入/etc/nginx.conf文件中
- 然后reload一下使配置生效。以此达到域名区分配置和动态更新的作用
ingress暴露服务的方式
Deployment+LoadBalancer模式的Service
如果要把ingress部署在公有云，那用这种方式比较合适。用Deployment部署ingress-controller，创建一个type为 LoadBalancer的 service关联这组pod。大部分公有云，都会为 LoadBalancer的 service自动创建一个负载均衡器，通常还绑定了公网地址。只要把域名解析指向该地址，就实现了集群服务的对外暴露
Ceph 硬件选型、crush规则及region
· ☕ 1 分钟 · ✍️ starifly
Reference
- 附录2、ceph安装配置介绍与主机优化
- [ ceph ] CEPH 部署完整版（CentOS 7 + luminous）
- 03 分布式存储ceph之crush规则配置
- 动态设置bucket_index_max_shards参数
- 实弹军演-基于Ceph对象存储的实战兵法
- 从传统运维到云运维演进历程之软件定义存储（一）
- 从传统运维到云运维演进历程之软件定义存储（三）上
- 从传统运维到云运维演进历程之软件定义存储（三）下
- 从传统运维到云运维演进历程之软件定义存储（五）上
- 从传统运维到云运维演进历程之软件定义存储（五）中
- 从传统运维到云运维演进历程之软件定义存储（五）下
- Ceph-RGW多活机制
- BlueStore-先进的用户态文件系统《一》
- Ceph之对象存储网关RADOS Gateway(RGW)
Ceph运维操作
· ☕ 1 分钟 · ✍️ starifly
Ceph理论篇
· ☕ 1 分钟 · ✍️ starifly
ceph s3 java开发相关
· ☕ 1 分钟 · ✍️ starifly
本文介绍了ceph对象存储使用java开发的方法和工具
Ceph RGW使用
· ☕ 1 分钟 · ✍️ starifly
Ceph运维告诉你分布式存储的那些“坑”
· ☕ 3 分钟 · ✍️ starifly
Ceph运维告诉你分布式存储的那些“坑”
ceph rgw高可用和负载均衡
· ☕ 2 分钟 · ✍️ starifly
环境配置
安装依赖
yum install pcre-devel.x86_64 openssl-devel zlib-devel systemd-devel gcc gcc-c++
内核调优
#vim /etc/sysctl.conf
vm.swappiness = 0
net.ipv4.ip_forward = 1
net.ipv4.ip_nonlocal_bind = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.ip_local_port_range = 1025 65023
net.ipv4.tcp_max_syn_backlog = 10240
检查
/usr/sbin/sysctl net.ipv4.ip_nonlocal_bind
/usr/sbin/sysctl net.ipv4.ip_forward
cat /proc/sys/net/ipv4/ip_forward
查看是否开启了ip转发功能
如果上述文件中的值为0,说明禁止进行IP转发；如果是1,则说明IP转发功能已经打开。
ceph 操作命令
· ☕ 2 分钟 · ✍️ starifly
查看ceph的实时运行状态
ceph -w
查看ceph存储空间
ceph df/ceph df detail
查看集群的详细配置
ceph daemon mon.ceph001 config show | more
or
ceph --admin-daemon /var/run/ceph/ceph-mon.ceph001.asok config show
查看集群版本信息
ceph versions
查看集群认证信息
ceph auth list
查看gc时间
radosgw-admin gc list --include-all | grep time
mon命令
ceph mon stat#查看mon的状态信息
mds命令
ceph mds stat #查看msd状态
osd命令
ceph osd stat #查看osd状态
ceph osd df #查看osd磁盘
ceph osd dump #osd的映射信息
ceph osd perf #查看osd性能和延迟
ceph osd tree#查看osd目录树
rgw命令
radosgw-admin bucket list #查看所有桶
radosgw-admin bucket list --bucket=asdas #查看桶内对象
radosgw-admin bucket stats --bucket=asdas #查看桶信息
radosgw-admin bucket rm --bucket=s3test1 #删除一个桶
radosgw-admin bucket rm --bucket=s3test1 --purge-objects #默认只能删空的bucket，强制删除非空的bucket需要加上“--purge-objects ”选项
radosgw-admin bucket check --bucket=s3test1 #查看桶的索引信息
radosgw-admin object rm --object=1.jpg --bucket=s3test3 #删除桶中的对象
radosgw-admin object unlink --bucket=s3test3 —object=1.jpg #从桶索引里去除对象
radosgw-admin bucket limit check [--uid test] #查看Sharding Stat
radosgw-admin bucket stats --bucket=bucketname|grep -w 'num_objects' #查询桶的对象个数
创建realm：
realm里所有的元數據名稱都是全局唯一的，無法創建同名的用戶（uid）和bucket， container；
radosgw-admin realm create --rgw-realm=Giant --default
查看存在的realm：
radosgw-admin realm list
查看bucket 的信息
radosgw-admin metadata get bucket:bucketname
获取bucket id 并根据 bucket id 从bucket.instace中获取真实shards，可以看到num_shards的值
radosgw-admin metadata get bucket.instance:api_image_test:4fb0079d-88d8-404e-9e3f-1375ba40a870.324279.2
查看index 下保留的shard数量（包含历史的分片）
rados ls -p default.rgw.buckets.index
查看bucket : bucketname 当前的shard分片,首先找到 当前bucket id
找到bucket id后查询具体的shard编号，如下
rados ls -p default.rgw.buckets.index | grep "555c6dcf-7320-4b34-8922-5e005dedc130.164465.1"
统计当前使用的shard数
rados ls -p default.rgw.buckets.index | grep "555c6dcf-7320-4b34-8922-5e005dedc130.164465.1" | wc -l
查看当前shard 存在的index数据
rados -p default.rgw.buckets.index listomapkeys .dir.555c6dcf-7320-4b34-8922-5e005dedc130.164465.1.769
