资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划，从策略到执行的一站式服务

网站建设 >

查看其它板块

kubernetes实践之二十六：GlusterFS

一：前言
GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计，可为各种不同的数据负载提供优异的性能。

服务器：
10.116.137.196         k8s_master
10.116.82.28             k8s_node1
10.116.36.57             k8s_node2

二：安装glusterfs
我们直接在物理机上使用yum安装，在三台服务器上分别执行以下安装命令。

1.先安装 gluster 源
yum install centos-release-gluster -y

2.安装 glusterfs 组件
yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma glusterfs-geo-replication glusterfs-devel

3.创建 glusterfs 目录
mkdir /mnt/glusterd

4.修改 glusterd 目录

点击(此处)折叠或打开

创新互联专注为客户提供全方位的互联网综合服务，包含不限于成都网站设计、做网站、成都外贸网站建设公司、稷山网络推广、重庆小程序开发、稷山网络营销、稷山企业策划、稷山品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；创新互联为所有大学生创业者提供稷山建站搭建服务，24小时服务热线：028-86922220，官方网址：www.cdcxhl.com

  1. volume management
  2.     type mgmt/glusterd
  3.     option working-directory /mnt/glusterd
  4.     option transport-type socket,rdma
  5.     option transport.socket.keepalive-time 10
  6.     option transport.socket.keepalive-interval 2
  7.     option transport.socket.read-fail-log off
  8.     option ping-timeout 0
  9.     option event-threads 1
  10. #option lock-timer 180
  11. #option transport.address-family inet6
  12. #option base-port 49152
  13. end-volume
5.启动glusterfs

systemctl enable glusterd.service
systemctl start glusterd.service
systemctl status glusterd.service


三：配置 glusterfs

1.开放端口
iptables -I INPUT -p tcp --dport 24007 -j ACCEPT

2.创建存储目录
mkdir /opt/gfs_data

3.添加节点到集群
在10.116.137.196上执行以下操作：
gluster peer probe 10.116.82.28
gluster peer probe 10.116.36.57

4.查看集群状态
gluster peer status

点击(此处)折叠或打开

  1. Number of Peers: 2

  3. Hostname: 10.116.82.28
  4. Uuid: f73138ca-e32e-4d87-a99d-cf842fc29447
  5. State: Peer in Cluster(Connected)

  7. Hostname: 10.116.36.57
  8. Uuid: 18e22d2c-049b-4b0c-8cc7-2560319e6c05
  9. State: Peer in Cluster(Connected)
  10. [root@iZwz95trb3stk6afg8oozuZ kubernetes]#clear
  11. [root@iZwz95trb3stk6afg8oozuZ kubernetes]# glustervolume create k8s-volume transport tcp 10.116.137.196:/mnt/gfs_data 10.116.82.28:/mnt/gfs_data 10.116.36.57:/mnt/gfs_data force
  12. volume create: k8s-volume: success: please start thevolume to access data
  13. [root@iZwz95trb3stk6afg8oozuZ kubernetes]# glustervolume info
  14.  
  15. Volume Name: k8s-volume
  16. Type: Distribute
  17. Volume ID: 62900029-02c9-4870-951c-38fafd5f5d9b
  18. Status: Created
  19. Snapshot Count: 0
  20. Number of Bricks: 3
  21. Transport-type: tcp
  22. Bricks:
  23. Brick1: 10.116.137.196:/mnt/gfs_data
  24. Brick2: 10.116.82.28:/mnt/gfs_data
  25. Brick3: 10.116.36.57:/mnt/gfs_data
  26. Options Reconfigured:
  27. transport.address-family: inet
  28. nfs.disable: on

四：配置 volume

1.volume的模式
a.分布卷（默认模式）：即DHT, 也叫 分布卷: 将文件已hash算法随机分布到 一台服务器节点中存储。
b.复制模式：即AFR, 创建volume 时带 replica x 数量: 将文件复制到 replica x 个节点中。
c.条带模式：即Striped, 创建volume 时带 stripe x 数量： 将文件切割成数据块，分别存储到 stripe x 个节点中 ( 类似raid 0 )。
d.分布式条带模式：最少需要4台服务器才能创建。 创建volume 时 stripe 2 server = 4 个节点： 是DHT 与 Striped 的组合型。
e.分布式复制模式：最少需要4台服务器才能创建。 创建volume 时 replica 2 server = 4 个节点：是DHT 与 AFR 的组合型。
f.条带复制卷模式：最少需要4台服务器才能创建。 创建volume 时 stripe 2 replica 2 server = 4 个节点： 是 Striped 与 AFR 的组合型。
g.三种模式混合： 至少需要8台 服务器才能创建。 stripe 2 replica 2 , 每4个节点 组成一个 组。

2.创建分布卷
gluster volume create k8s-volume transport tcp 10.116.137.196:/mnt/gfs_data 10.116.82.28:/mnt/gfs_data 10.116.36.57:/mnt/gfs_data force

3.查看volume状态
gluster volume info

点击(此处)折叠或打开

  1. Volume Name: k8s-volume
  2. Type: Distribute
  3. Volume ID: 62900029-02c9-4870-951c-38fafd5f5d9b
  4. Status: Created
  5. Snapshot Count: 0
  6. Number of Bricks: 3
  7. Transport-type: tcp
  8. Bricks:
  9. Brick1: 10.116.137.196:/mnt/gfs_data
  10. Brick2: 10.116.82.28:/mnt/gfs_data
  11. Brick3: 10.116.36.57:/mnt/gfs_data
  12. Options Reconfigured:
  13. transport.address-family: inet
  14. nfs.disable: on
4.启动分布卷
gluster volume start k8s-volume

五：Glusterfs调优

1.开启指定volume的配额
gluster volume quota k8s-volume enable
2.限制指定volume的配额
gluster volume quota k8s-volume limit-usage / 5GB
3.设置cache大小, 默认32MB
gluster volume set k8s-volume performance.cache-size 64MB
4.设置io线程, 太大会导致进程崩溃
gluster volume set k8s-volume performance.io-thread-count 16
5.设置网络检测时间, 默认42s
gluster volume set k8s-volume network.ping-timeout 10
6.设置写缓冲区的大小, 默认1M
gluster volume set k8s-volume performance.write-behind-window-size 512MB

六：Kubernetes中配置glusterfs

1.配置 endpoints(glusterfs-endpoints.json)

点击(此处)折叠或打开

  1. {
  2.   "kind": "Endpoints",
  3.   "apiVersion": "v1",
  4.   "metadata": {
  5.     "name": "glusterfs-cluster"
  6.   },
  7.   "subsets": [
  8.     {
  9.       "addresses": [
  10.         {
  11.           "ip": "10.116.137.196"
  12.         }
  13.       ],
  14.       "ports": [
  15.         {
  16.           "port": 1990
  17.         }
  18.       ]
  19.     }
  20.   ]
  21. }
kubectl apply -f glusterfs-endpoints.json

2.配置 service(glusterfs-service.json)

点击(此处)折叠或打开

  1. {
  2.   "kind": "Service",
  3.   "apiVersion": "v1",
  4.   "metadata": {
  5.     "name": "glusterfs-cluster"
  6.   },
  7.   "spec": {
  8.     "ports": [
  9.       {"port": 1990}
  10.     ]
  11.   }
  12. }
kubectl apply -f glusterfs-service.json

3.创建测试 pod

点击(此处)折叠或打开

  1. {
  2.     "apiVersion": "v1",
  3.     "kind": "Pod",
  4.     "metadata": {
  5.         "name": "glusterfs"
  6.     },
  7.     "spec": {
  8.         "containers": [
  9.             {
  10.                 "name": "glusterfs",
  11.                 "image": "registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0",
  12.                 "volumeMounts": [
  13.                     {
  14.                         "mountPath": "/mnt/glusterfs",
  15.                         "name": "glusterfsvol"
  16.                     }
  17.                 ]
  18.             }
  19.         ],
  20.         "volumes": [
  21.             {
  22.                 "name": "glusterfsvol",
  23.                 "glusterfs": {
  24.                     "endpoints": "glusterfs-cluster",
  25.                     "path": "k8s-volume",
  26.                     "readOnly": true
  27.                 }
  28.             }
  29.         ]
  30.     }
  31. }
kubectl apply -f glusterfs-pod.json   在Pod所在的Node节点上执行 df -h 可以查看k8s-volume挂载目录

4.配置PersistentVolume(glusterfs-pv.yaml)

点击(此处)折叠或打开

  1. apiVersion: v1
  2. kind: PersistentVolume
  3. metadata:
  4.   name: gluster-dev-volume
  5. spec:
  6.   capacity:
  7.     storage: 1Gi
  8.   accessModes:
  9.     - ReadWriteMany
  10.   glusterfs:
  11.     endpoints: "glusterfs-cluster"
  12.     path: "k8s-volume"
  13.     readOnly: false
kubectl apply -f glusterfs-pv.yaml

5.配置PVC(glusterfs-pvc.yaml)

点击(此处)折叠或打开

  1. kind: PersistentVolumeClaim
  2. apiVersion: v1
  3. metadata:
  4.   name: glusterfs-nginx
  5. spec:
  6.   accessModes:
  7.     - ReadWriteMany
  8.   resources:
  9.     requests:
  10.       storage: 1Gi
kubectl apply -f glusterfs-pvc.yaml

6.创建nginx deployment 挂载 volume(nginx-deployment.yaml)

点击(此处)折叠或打开

  1. apiVersion: extensions/v1beta1
  2. kind: Deployment
  3. metadata:
  4.   name: nginx-dm
  5. spec:
  6.   replicas: 2
  7.   template:
  8.     metadata:
  9.       labels:
  10.         name: nginx
  11.     spec:
  12.       containers:
  13.         - name: nginx
  14.           image: nginx:latest
  15.           imagePullPolicy: IfNotPresent
  16.           ports:
  17.             - containerPort: 80
  18.           volumeMounts:
  19.             - name: gluster-dev-volume
  20.               mountPath: "/usr/share/nginx/html"
  21.       volumes:
  22.       - name: gluster-dev-volume
  23.         persistentVolumeClaim:
  24.           claimName: glusterfs-nginx
kubectl apply -f nginx-deployment.yaml

a.查看 deployment
kubectl get pods |grep nginx-dm

点击(此处)折叠或打开

  1. nginx-dm-64dcbb8d55-pp9vn 1/1 Running 0 1h
  2. nginx-dm-64dcbb8d55-sclj6 1/1 Running 0 1h
b.查看挂载
kubectl exec -it nginx-dm-64dcbb8d55-pp9vn -- df -h

点击(此处)折叠或打开

  1. FilesystemSize Used Avail Use% Mounted on
  2. overlay 40G 23G 16G 60% /
  3. tmpfs 3.7G 0 3.7G 0% /dev
  4. tmpfs 3.7G 0 3.7G 0% /sys/fs/cgroup
  5. /dev/xvda1 40G 23G 16G 60% /etc/hosts
  6. shm 64M 0 64M 0% /dev/shm
  7. 10.116.137.196:k8s-volume 5.0G 0 5.0G 0% /usr/share/nginx/html
  8. tmpfs 3.7G 12K 3.7G 1% /run/secrets/kubernetes.io/serviceaccount
c.创建文件测试
kubectl exec -it nginx-dm-64dcbb8d55-pp9vn -- touch /usr/share/nginx/html/index.html
kubectl exec -it nginx-dm-64dcbb8d55-sclj6  -- ls -lt /usr/share/nginx/html/index.html

d.验证 glusterfs
因为我们使用分布卷，所以可以看到某个节点中有文件
ls /mnt/gfs_data/
index.html



文章名称：kubernetes实践之二十六：GlusterFS
分享URL：http://cdkjz.cn/article/pgpdie.html
返回首页 了解更多建站资讯

相关资讯

多年建站经验

多一份参考，总有益处

联系快上网，免费获得专属《策划方案》及报价

咨询相关问题或预约面谈，可以通过以下方式与我们联系

大客户专线   成都：13518219792   座机：028-86922220

在线咨询 提交需求
友情链接 交换友情链接
名片设计成都小程序商城一带一路响应式报价高端网站设计网站域名四川威斯达宇香港虚拟主机空间梓潼网站制作公司合江网站建设

成都网站建设公司地址：成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220

成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.

专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网！ | 成都网站建设哪家好？ | 网站建设地图