在 Docker 中运行 Ceph

图片来源：

Opensource.com

Ceph 是一个完全开源的分布式对象存储、网络块设备和文件系统，专为可靠性、性能和从 TB 级到 EB 级的可扩展性而设计。Ceph 利用一种新颖的放置算法（CRUSH）、活动存储节点和对等 gossip 协议，以避免与集中式控制器和查找表相关的可扩展性和可靠性问题。Ceph 是一个庞大且不断增长的生态系统的一部分，它集成在虚拟化平台 (Proxmox)、云平台 (OpenStack、CloudStack、OpenNebula)、容器 (Docker) 和大数据 (Hadoop，作为 HDFS 的元数据服务器) 中。

自从我第一次尝试在 Docker 中运行 Ceph 以来，已经过去了将近两年。直到最近，我才真正有时间恢复这项工作。在过去的几个月里，我一直投入一些时间来贡献于在 Docker 中部署 Ceph。

（在我们开始之前，我想强调一下，如果没有 Seán C. McCord 的帮助，这项工作是不可能实现的。事实上，当前的 ceph-docker 仓库是基于 Seán 的初步工作。）

现在让我们深入了解一下，看看如何让它运行起来！

理由

在 Docker 中运行 Ceph 有点争议，因为很多人可能认为这样做毫无意义。虽然对于 monitor、metadata server 和 RADOS gateway 来说，容器化并不是什么问题，但当涉及到 OSD（对象存储守护进程）时，事情就变得棘手了。Ceph OSD 针对其运行的机器进行了优化，并且与硬件有着密切的关系。如果 OSD 依赖的磁盘出现故障，OSD 就无法工作，这在容器世界中有点问题。

老实说，有那么一瞬间我发现自己在想：

我不知道我为什么要做这个。我只知道外面的人想要它（是的，他们可能也不知道为什么）。我认为无论如何尝试一下很重要，所以让我们开始吧。

我知道这听起来不是很乐观，但这是事实。不过，我的观点略有改变，所以无论如何，让我解释一下原因。也许它也会改变你的想法。（是的，我的解释会不仅仅是：Docker 很时髦，所以让我们将一切 Docker 化。）

人们已经开始投入大量的工程努力，在其平台上运行容器化的软件。因此，他们一直在使用各种工具来构建和编排他们的环境。我不会惊讶地看到 Kubernetes 成为此事的编排工具。有些人也喜欢在生产环境中使用前沿技术，因为他们可能会觉得其他事情很无聊。因此，通过“容器化一切”的方法，他们会很高兴看到他们最喜欢的开源存储解决方案正在发生一些事情。

与 yum 或 apt-get 不同，回滚并不总是容易的，容器有点不同。升级和回滚变得更容易，因为你可以轻松地使用 docker stop 和 docker run 来推出新版本的守护进程。你还可以在同一台机器上以隔离的方式运行不同的集群。这对于开发来说是理想的。

项目

正如前面提到的，一切都始于 Seán C. McCord 的工作，我们围绕他的工作进行了迭代。目前，如果你使用 ceph-docker，你将能够在 Ubuntu 或 CentOS 上运行每个 Ceph 守护进程。我们在 Docker Hub 上有很多可用的镜像。我们使用 Ceph 命名空间，所以我们的镜像以 ceph/<daemon> 为前缀。我们使用自动构建；因此，每次我们合并一个新的补丁，都会触发一个新的构建，并生成一个新版本的容器镜像。由于我们目前正处于重构过程中，你将看到有很多镜像可用。从历史上看，我们曾经（并且直到我们合并这个补丁之前仍然如此）每个守护进程一个镜像。因此，monitor、osd、mds 和 radosgw 各一个容器镜像。这并不是很理想，实际上也没有必要。这就是为什么我们致力于一个名为 daemon 的单一容器镜像。这个镜像包含所有 Ceph 守护进程，你可以在调用 docker run 命令时使用一个参数来激活你想要的那个。话虽如此，如果你想开始，我鼓励你直接使用 ceph/daemon 镜像。我将在下一节展示如何运行它的示例。

容器化 Ceph

Monitor

鉴于 monitor 无法通过 NAT 网络进行通信，我们需要使用 --net=host 来暴露 Docker 主机机器的网络堆栈

$ sudo docker run -d --net=host \ -v /etc/ceph:/etc/ceph \ -v /var/lib/ceph/:/var/lib/ceph \ -e MON_IP=192.168.0.20 \ -e CEPH_PUBLIC_NETWORK=192.168.0.0/24 \ ceph/daemon mon

以下是可供你选择的选项。

MON_IP 是运行 Docker 的主机的 IP 地址。
MON_NAME 是你的 monitor 的名称（默认值：$(hostname)）。
CEPH_PUBLIC_NETWORK 是运行 Docker 的主机的 CIDR。它应该与 MON_IP 在同一个网络中。
CEPH_CLUSTER_NETWORK 是运行 Docker 的主机的辅助接口的 CIDR。用于 OSD 复制流量。

对象存储守护进程

当前的实现允许你每个容器运行一个 OSD 进程。遵循微服务的理念，我们不应该在我们的容器中运行多个服务。在我们的例子中，在单个容器中运行多个 OSD 进程违反了这条规则，并且可能会引入不良行为。这也将增加解决方案的设置和维护复杂性。

在这种配置中，严格要求使用 --privileged=true，因为我们需要完全访问 /dev/ 和其他内核功能。但是，我们支持另一种基于暴露 OSD 目录的配置，操作员将在其中进行设备的适当准备。然后，他或她将简单地暴露 OSD 目录，并且入口点将完成填充（ceph-osd mkfs）。我现在展示的配置更容易上手，因为你只需要指定一个块设备，入口点将完成剩下的工作。

那些不想使用 --privileged=true 的人可以退回到第二个示例。

$ sudo docker run -d --net=host \ --privileged=true \ -v /etc/ceph:/etc/ceph \ -v /var/lib/ceph/:/var/lib/ceph \ -v /dev/:/dev/ \ -e OSD_DEVICE=/dev/vdd \ ceph-daemon osd_ceph_disk

如果你不想使用 --privileged=true，你总是可以使用你选择的配置管理工具自行准备 OSD。

在没有特权模式的示例中，在此示例中，我们假设你已分区、放置文件系统并挂载了 OSD 分区。要创建你的 OSD，只需运行以下命令：

$ sudo docker exec <mon-container-id> ceph osd create。

然后像这样运行你的容器

docker run -v /osds/1:/var/lib/ceph/osd/ceph-1 -v /osds/2:/var/lib/ceph/osd/ceph-2

$ sudo docker run -d --net=host \ -v /etc/ceph:/etc/ceph \ -v /var/lib/ceph/:/var/lib/ceph \ -v /osds/1:/var/lib/ceph/osd/ceph-1 \ ceph-daemon osd_disk_directory

以下是可供你选择的选项。