minio开发go语言 go minio

MinIO 快速入门之一 —— MinIO 简介

MinIO 官网

创新互联建站一直在为企业提供服务，多年的磨炼，使我们在创意设计，营销型网站到技术研发拥有了开发经验。我们擅长倾听企业需求，挖掘用户对产品需求服务价值，为企业制作有用的创意设计体验。核心团队拥有超过十多年以上行业经验，涵盖创意，策化，开发等专业领域，公司涉及领域有基础互联网服务绵阳服务器托管、app开发定制、手机移动建站、网页设计、网络整合营销。

MinIO 官方GitHub

MinIO 官方文档

关于对象存储，我们可以看下 阿里云OSS 的解释。

对象存储最大的优势就在于它可以存储大容量的非结构化数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。对于大多数的企业来说，这可以说是最为理想的存储媒介了。

对于业务已在公有云上的企业来说，使用公有云提供的 OSS 服务，可以很好的节省存储的成本，且一般都提供易接入的 SDK，以阿里云的OSS 服务为例，在存储介质的上层封装可标注的 RESTful API 接口，使用起来十分方便。

但是对于一些没有选择业务上云或者想要下云的企业来说，要使用公有云的 OSS，在公网带宽方面就需要有一定的投入，毕竟需要通过公网传输，带宽太小，传输速度就会慢，且在传输过程中数据的安全性和完整性也有损失的风险，走专线的费用又十分昂贵，不实在。

这种情况下，MinIO 就是一个不错的选择，麻雀虽小，五脏俱全，企业可以以此快速构建自己内部的对象存储服务。

Minio 是个基于 Golang 编写的开源对象存储套件，基于Apache License v2.0开源协议，虽然轻量，却拥有着不错的性能。它兼容亚马逊S3云存储服务接口。可以很简单的和其他应用结合使用，例如 NodeJS、Redis、MySQL等。

如下图，MinIO 的应用场景除了可以作为私有云的对象存储服务来使用，也可以作为云对象存储的网关层，无缝对接 Amazon S3 或者 MicroSoft Azure 。

Minio 使用纠删码 erasure code 和校验和 checksum 。 即便丢失一半数量（N/2）的硬盘，仍然可以恢复数据。

保护数据免受硬件故障和无声数据损坏

纠删码是一种恢复丢失和损坏数据的数学算法，目前，纠删码技术在分布式存储系统中的应用主要有三类，阵列纠删码（Array Code: RAID5、RAID6等）、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。Erasure Code是一种编码技术，它可以将n份原始数据，增加m份数据，并能通过n+m份中的任意n份数据，还原为原始数据。即如果有任意小于等于m份的数据失效，仍然能通过剩下的数据还原出来。

Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。 这就意味着如果是12块盘，一个对象会被分成6个数据块、6个奇偶校验块，可以丢失任意6块盘（不管其是存放的数据块还是奇偶校验块），仍可以从剩下的盘中的数据进行恢复。

RS编码以word为编码和解码单位，大的数据块拆分到字长为w（取值一般为8或者16位）的word，然后对word进行编解码。 数据块的编码原理与word编码原理相同，后文中以word为例说明，变量Di, Ci将代表一个word。

把输入数据视为向量D=(D1，D2，..., Dn）, 编码后数据视为向量（D1, D2,..., Dn, C1, C2,.., Cm)，RS编码可视为如下（图1）所示矩阵运算。

图1最左边是编码矩阵（或称为生成矩阵、分布矩阵，Distribution Matrix），编码矩阵需要满足任意n*n子矩阵可逆。为方便数据存储，编码矩阵上部是单位阵（n行n列），下部是m行n列矩阵。下部矩阵可以选择范德蒙德矩阵或柯西矩阵。

RS最多能容忍m个数据块被删除。 数据恢复的过程如下：

（1）假设D1、D4、C2丢失，从编码矩阵中删掉丢失的数据块/编码块对应的行。（图2、3）

（2）由于B' 是可逆的，记B'的逆矩阵为 (B'^-1)，则B' * (B'^-1) = I 单位矩阵。两边左乘B' 逆矩阵。 （图4、5）

（3）得到如下原始数据D的计算公式 。

（4）对D重新编码，可得到丢失的编码

Spring Boot | 整合 Minio 实现文件上传

文章目录：

MinIO 是一个用 Golang 开发的基于 Apache License v2.0 源协议的对象存储服务。

它兼容亚马逊 S3 云存储服务接口，适合存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，单个文件可以是任意大小，从几kb到最大5T不等。

使用 docker 安装

说明：

9020 为控制台访问端口。

创建存储桶：

设置存储桶权限：

MinioProperties.java

MinioConfig.java

FILE_NAME_PATTERN 是上传文件的命名格式。第一个 {} 放的是上传时间，格式是 yyyyMMddHHmmss ，精确到秒。第二个 {} 放的是上传文件的原始文件名。

【Minio】基于AWS S3协议搭建个人云存储服务

在2007年，GlusterFS演变为大型分布式存储方案后，任何配备合适硬件的公司，单位都可以利用个做分布式的流媒体，数据分析。在2011年，Red Hat收购了GlusterFS.

Minio是GlusterFS创始人之一Anand Babu Periasamy发布新的开源项目。Minio兼容Amason的S3分布式对象存储项目，采用Golang实现，客户端支持Java,Python,Javacript, Golang语言。

Minio 提供对象存储服务，兼容了 AWS S3 存储协议，用于非结构化的数据存。非结构化对象，比如图像，音、视频，日志文件，备份镜像…等等管理不方便，不定长，大小变化大、类型多，云端的访问复杂，minio就是来解决这种场景的。非结构化的文件从数KB到5TB都能很好的支持。开源并且用 Go 语言开发，有web操作界面，我们可以用它来搭建兼容S3协议的存储云服务。

Minio可以做为云存储的解决方案用来保存海量的图片，视频，文档。由于采用Golang实现，服务端可以工作在Windows,Linux, OS X和FreeBSD上。配置简单，基本是复制可执行程序，单行命令可以运行起来。

官网：

那么，如何自己搭建一个私有的S3存储云服务呢？

官方的话是推荐用Docker来搞，我们先用普通的二进制文件来直接解决了！

######################################################################################

# mkdir /data/aws_s3

# wget  

# mv  minio /usr/local/bin/

#  chmod  755  /usr/local/bin/minio 

# minio server  /data/aws_s3

#############################################################

Created minio configuration file successfully at /root/.minio

Endpoint:    

AccessKey: U3XLU4IMXY3IDKHU268F 

SecretKey: /6NCL6HGacviaCgRqr2qLbVOjhkkJdRpV7wz0JJD 

Region:    us-east-1

SQS ARNs:  

Browser Access:

Command-line Access: 

################################################################

$ mc config host add myminio   U3XLU4IMXY3IDKHU268F /6NCL6HGacviaCgRqr2qLbVOjhkkJdRpV7wz0JJD

Object API (Amazon S3 compatible):

Go: 

Java: 

Python: 

JavaScript: 

Drive Capacity: 8.3 GiB Free, 9.1 GiB Total

##############################################################

我们就成功启动了minio的s3服务，默认端口9000，可以通过网页访问:

注意 ：第一次打开时候需要填写AccessKey和SecretKey才能进入，我们上面启动服务的时候，已经看到屏幕有输出:

AccessKey: U3XLU4IMXY3IDKHU268F 

SecretKey:6NCL6HGacviaCgRqr2qLbVOjhkkJdRpV7wz0JJD

把这两个Key填入，就能顺利进入，进入后展开页面如下:

这就是我们的S3云存储的管理页面了，看着是不是和七牛什么的提供云存储的产品页面挺像的，大家都是基于S3协议开发的！

上传个文件试试：

点击右下角的红色小加号按钮，弹出的菜单选择”create bucket”则会创建一个桶，输入名字”test”

点击刚才那个红色小加号按钮，这次选择”Upload file”上传文件，给这个桶上传了一个叫login.txt的文本文档

此时页面如下：

至此我们可以看到文件已经上传，要访问这个文件，可以点击文件右侧的三个点的按钮，选择分享就可以得到一个外链，在浏览器中访问这个外链就可以直接访问文件。

那么文件到底被存到哪里去了呢，我们启动命令中其实指定了工作路径/data/aws_s3/，所以到服务器这个目录下看看：

# ls /data/aws_s3/ 

test

# ls /data/aws_s3/test/

login.txt 

桶名称test是一个目录，其下就有上传的login.txt文件。

如果想指定ip和端口，可以这样写:

# minio server /data/aws_s3 --address=0.0.0.0:9000

如果想让服务在后台运行：

# nohup minio server /data/aws_s3   --address=0.0.0.0:443 

[1] 19882

// nohup: 忽略输入并把输出追加到启动命令的当前目录下的 "nohup.out"文件

minio可以用来搭建分布式存储系统 GlusterFS，这样就成了真正的云存储了，有时间再研究下把它从现在的单机测试，变成一朵存储云！

minio官网：

minio官方文档：

minio github主页：

详解kubernetes备份恢复利器 Velero - 深入了解Carina系列第三期

传统的数据备份方案主要有两种， 一种是利用存储数据的服务端实现基于快照的备份，另一种是在每台目标服务器上部署专有备份 agent 并指定备份数据目录，定期把数据复制到外部存储上。这两种方式的备份机制相对固化，在云原生时代无法适应容器化后的弹性、池化等部署场景。

以云原生存储插件 Carina 为例，数据库等数据敏感场景中每个数据库集群包括多个计算实例，实例可能在集群内任意漂移并实现自动故障恢复。传统数据备份方式在数据库集群快速扩缩容、跨节点漂移等场景下无法自动跟随计算实例迁移从而导致数据备份失效，因此一款贴合 k8s 容器场景的备份工具就十分重要。

Velero 是一款云原生时代的灾难恢复和迁移工具，采用 Go 语言编写，并在 github 上进行了开源，开源地址为：。Velero 源于西班牙语，意思为帆船，非常符合 Kubernetes 社区的命名风格。

利用 velero 用户可以安全的备份、恢复和迁移 Kubernetes 集群资源和持久卷。它的基本原理就是将集群的数据，例如集群资源和持久化数据卷备份到对象存储中，在恢复的时候将数据从对象存储中拉取下来。除了灾备之外它还能做资源移转，支持把容器应用从一个集群迁移到另一个集群，这也是 velero 一个非常成功的使用场景。

Velero 主要包括连个核心组件，分别为服务端和客户端。服务端运行在具体的 Kubernetes 集群中，客户端是运行在本地的命令行工具，只要配置好 kubectl 及 kubeconfig 即可使用，非常简单。

Velero 基于其实现的 kubernetes 资源备份能力，可以轻松实现 Kubernetes 集群的数据备份和恢复、复制 kubernetes 集群资源到其他 kubernetes 集群或者快速复制生产环境到测试环境等功能。

在资源备份方面，velero 支持将数据备份到众多的云存储中，例如AWS S3或S3兼容的存储系统、Azure Blob、Google Cloud存储、Aliyun OSS等。与备份整个 kubernetes 的数据存储引擎 etcd 相比，velero 的控制更加细化，可以对 Kubernetes 集群内对象级别进行备份，还可以通过对 Type、Namespace、Label 等对象进行分类备份或者恢复。

以核心的数据备份为例，当执行 velero backup create my-backup 时：

关于备份存储位置和卷快照，Velero 有两个自定义资源 BackupStorageLocation 和 VolumeSnapshotLocation，用于配置 Velero 备份及其关联的持久卷快照的存储位置。

Minio安装Yaml文件如下：

安装Mini，并检查资源创建情况。

待服务都已经启动完毕，可以登录 minio 查看 velero/velero 的 bucket 是否创建成功。

其中，几个重要的参数及其说明如下：

安装命令执行完成后，等待 Velero 和 restic 工作负载就绪后，查看配置的存储位置是否可用。

至此 velero 就已经全部部署完成。

velero 支持备份所有对象，也可以按类型，名称空间和/或标签过滤对象

其中：

--include-namespaces:备份该命名空间下的所有资源，不包括集群资源

--include-resources:要备份的资源类型

--include-cluster-resources:是否备份集群资源 此选项可以具有三个可能的值： true：包括所有集群范围的资源； false：不包括集群范围内的资源； nil （“自动”或不提供）

--selector:通过标签选择匹配的资源备份

--exclude-namespaces:备份时该命名空间下的资源不进行备份

--exclude-resources:备份时该类型的资源不进行备份

:当标签选择器匹配到该资源时，若该资源带有此标签，也不进行备份

同时，也可以通过使用 –ordered-resources 参数，按特定顺序备份特定种类的资源，需要指定资源名称和该资源的对象名称列表，资源对象名称以逗号分隔，其名称格式为“命名空间/资源名称”，对于集群范围资源，只需使用资源名称。映射中的键值对以分号分隔，资源类型是复数形式。

当备份任务状态是 “Completed” ，且错误数为 0 ，说明备份任务完成且没发生任何错误，可以通过以下命令查询：

通过先临时将备份存储位置更新为只读模式，可以防止在还原过程中在备份存储位置中创建或删除备份对象。

还原完成后，不要忘记把备份存储位置恢复为读写模式，以便下次备份任务使用：

Velero 支持还原 hooks，可以在还原任务执行前或还原过程之后执行的自定义操作。有以下两种定义形式：

如进行备份之前，请使用以下命令将注释添加到Pod：

如进行备份之前，请使用以下命令将注释添加到Pod

是的，可以使用--namespace-mappings参数来指定：

Velero 有一个参数，可让用户决定保留原来的 nodePorts。

velero restore create 子命令具有 --preserve-nodeports标志保护服务nodePorts。此标志用于从备份中保留原始的nodePorts，可用作--preserve-nodeports或--preserve-nodeports=true 如果给定此标志，则Velero在还原Service时不会删除nodePorts，而是尝试使用备份时写入的nodePorts。

如果是基于velero实现数据库的一致性，需要用velero的hook，在备份前对数据库进行quiesce操作，备份完unquiesce。对于备份本身，可以使用restic来copy数据（但不用快照），或者使用快照的方式。