将你的旧 Raspberry Pi 变成自动备份服务器

还没有读者喜欢这个。
open source button on keyboard

Opensource.com

如果你是那些升级到 Raspberry Pi 3 的人之一,你可能会想知道如何处理你旧的、性能较低的 Pi。除了把它变成一堆闪烁的 LED 灯来娱乐你的猫之外,你还可以考虑将其配置为微控制器

我们大多数人都勉强承认,备份我们的数字生活是我们日常计算中最重要的事情,但我们谁也不愿意去做。 那是因为完成备份过程需要我们记住去做,这需要付出努力,并且需要时间。 而这正是为什么最好的备份解决方案是根本不用做的解决方案; 这是一个自动化的解决方案。

当系统始终开启并在后台运行时,这样的系统是最好的。 而这正是 Raspberry Pi 最擅长的。 你可以整天整夜地开着 Pi,而永远不会注意到它在你的电费账单上有所体现,并且你可以让它执行简单的任务,即跨家庭网络运行备份。 你所需要的只是一个 Raspberry Pi 和一个大硬盘,你基本上就构建了一个自定义版本的那些烦人的“简易备份”系统,这些系统是硬盘公司每隔几年推出的(你知道我说的是哪些吗? 就是那些你连接到你的网络,浪费一个周末试图配置,结果在一个隐藏的在线论坛中发现由于固件中的错误,广告宣传的功能都无法正常工作,而硬盘公司两年前就承诺他们会“很快”修复的那些)。

rdiff-backup

首先,你需要选择一些备份软件,让你的备份服务器(你的 Pi)和你的客户端(你的笔记本电脑、台式机以及其他设备)运行。

有很多自动备份工具,但多年来我发现,大多数漂亮的图形化备份解决方案最终都会停止维护,直到它们消失,迫使我切换到其他不同的东西。 过一段时间后,这会变得很烦人,所以我开始使用 rsync,这个历史悠久的 UNIX 命令已经存在了几十年。 这对我来说效果很好,但我开始发现自己想要某些文件的版本化备份; rsync 会备份已更改的文件,但它会用新版本覆盖旧版本,因此如果我的问题不是文件已被删除,而是我把一个文件搞砸到无法识别的地步,那么拥有 rsync 的备份文件对我一点用处都没有,因为备份几乎总是最终成为我要替换的文件的错误版本。

然后我找到了 rdiff-backup,一个基于 rsync 的简单备份工具(它使用 librsync),因此继承了它的可靠性(但是,它自 2001 年才出现,所以它没有 rsync 那么悠久的历史)。 Rdiff-backup 使用标准 UNIX 工具(tarrdiffrsync 等)在本地或通过网络执行增量备份,因此即使它消失了,它创建的备份文件仍然有用。 它很轻巧,并且可以在 Linux 和 FreeBSD 上运行,因此即使在最旧的 Raspberry Pi 上运行也很容易。

服务器安装

你不需要任何特殊的设置就可以将你的 Raspberry Pi 变成备份服务器。 假设你的 Pi 已经启动并运行,你所需要做的就是从你的存储库、端口或扩展站点安装 rdiff-backup

客户端安装

至于你的客户端(也就是将被你的 Pi 备份的计算机),rdiff-backup 可以在 Linux、BSD、Windows 和 Mac OS X 上运行,所以你很可能可以将它用于你家中的所有计算机。

大硬盘

即使是 64GB 的 SD 卡对于增量备份来说也不够用,所以你需要一个大的硬盘来连接到你的 Pi。 你最了解自己的数据,所以在购买硬盘时让它成为你的指南。 对于我的家庭网络,我有一个相对较小的(考虑到我处理的多媒体数据文件数量)3TB 硬盘; 我这样做有很多原因,但主要是因为我实际上并没有备份所有我拥有的数据。 我处理的很多数据无论如何都存在于其他地方,所以我没有必要备份它,而且像我的音乐和电影收藏之类的东西,我也认为不重要到需要备份。 所以不要觉得自己必须字面上跟踪每一个千字节; 只要了解你的数据以及对你最重要的东西即可。

一旦你有了硬盘,将其连接到你的 Pi 并格式化它。 严格来说,你可能不一定非要格式化它,但如果你要让 Linux 管理数据,那么你最好将数据存储在原生文件系统上。 这假设你的备份驱动器是新的,或者你想要完全擦除的驱动器。 如果不是,你可以跳过这一部分。

要在 Linux 上格式化驱动器,你必须使用 root 权限。 这在某种程度上取决于你在你的 Pi 上运行的发行版(Raspbian、Pidora 等),但通常 sudo 命令是调用它的方式。 无论如何,要使用的工具是 parted,只要你没有其他驱动器连接到你的 Pi(除了它从中启动的 SD 卡),那么你的驱动器的位置就是 /dev/sda。 为了安全起见,我将使用 /dev/sdx,只是为了避免潜在的复制粘贴错误。

首先,确认你的驱动器的位置

$ sudo ls -1 /dev/sd*
/dev/sdX
/dev/sdX1
/dev/sdX2

然后在驱动器上运行 parted 以确认其总大小

  $ sudo parted /dev/sdX unit MB print
Model: Tycoon hard drive Corp. (scsi)
Disk /dev/sda: 1985442MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos

查看以 Disk 开头的行; 这会告诉你驱动器的总大小,以兆字节为单位。 把它记下来,因为你稍后会用到它。

接下来,在驱动器上创建一个新分区,跨越整个驱动器。 只有当你想要完全擦除备份驱动器以为你的所有备份腾出空间时才这样做。 如果驱动器上有任何你不想永远消失的数据,那么不要这样做

  $ sudo parted /dev/sdX mklabel gpt
Warning: The existing disk label on /dev/sdX will be destroyed
and all data on this disk will be lost. Do you want to continue?
Yes/No? Yes
Information: You may need to update /etc/fstab.
$ sudo parted /dev/sdx mkpart primary 1 1985442
Information: You may need to update /etc/fstab.

你的新分区现在存在了,所以在其中创建一个文件系统。 请注意,对于此命令,你使用分区而不是磁盘位置。 因此,例如,你将使用 /dev/sda1 而不是 /dev/sda。 为了获得最佳效果,还要为磁盘提供一个标签(-L 选项),我们稍后将使用它来自动挂载驱动器。

$ sudo mkfs.ext4 -L backupdrive /dev/sdx1

你的驱动器现在已准备好作为备份驱动器使用了。

自动挂载备份驱动器

使用 Pi 作为备份服务器的想法,部分原因是它会始终开启。 但是,如果发生任何事情(例如,电源故障或意外关机),你希望你的备份驱动器自动重新挂载,否则任何备份尝试都会失败。

要为你的驱动器设置自动挂载,首先为它创建一个标准的挂载位置。 驱动器通常挂载到像 /media/run/media 这样的位置,这很好,但为了简单起见,只需在你的文件系统的根目录中创建一个目录

$ sudo mkdir /backupdrive

然后使用 root 权限在你选择的文本编辑器中编辑 /etc/fstab。 添加这一行

LABEL=backupdrive     /backupdrive    ext4   user,rw  0 0

最后挂载驱动器

$ sudo mount -a

初始备份

你做的第一个备份是最大和最慢的备份,因为你想要备份的所有内容都将被复制到你的驱动器。 后续备份要小得多且快得多,因为只有新文件(或 blob)或文件的更改会被复制过来。

首先,在客户端计算机(要备份到 Pi 的计算机)上安装 rdiff-backup。 它适用于主要的操作系统。

为了确保你未来的备份按预期进行,使用你打算用于增量备份的相同命令和相同设置进行首次备份。 这意味着你不应该从 Pi 上断开大驱动器并将其插入客户端以使其更快; 每次都以相同的方式执行每次备份,以便你确切地知道稍后如何自动化它。

在 Pi 上,为你即将从客户端备份的文件夹创建一个目录。 假设你要备份客户端的主目录,在备份驱动器上创建该文件夹的镜像

$ sudo mkdir -p /backupdrive/home/seth

然后确保同一用户拥有该目录

$ chown seth:users /backupdrive/home/seth

这假设用户 seth 在客户端和 Pi 上都存在。 你不必这样做(rdiff-backup 可以以不同的用户身份登录到 Pi),但有时当备份是源的镜像时,它会更容易管理。

这也假设你正在备份你的主目录。 这通常是一个好的开始位置(我假设如果你运行 Linux,那么你可以免费下载和替换基本系统),但你可能想要排除你不需要备份的大文件。 在你的主目录中名为 .excludes 的文件中列出要从备份中排除的文件和文件夹。 至少,你可能可以安全地排除你的垃圾箱目录

$ echo "$HOME/.local/.local/share/Trash" && $HOME/.excludes

来自你的客户端计算机的基本 rdiff-backup 命令,其中 192.168.3.14 是你的 Pi 的 IP 地址

$ rdiff-backup --terminal-verbosity 8 --print-statistics \
--exclude-globbing-filelist $HOME/.excludes \
/home/seth/ seth@192.168.3.14::/backupdrive/home/seth/

该命令应启动一个漫长的 rsync 过程,在该过程中,所有文件都被发现不存在于备份驱动器上,因此从客户端复制到 Pi。 如果它失败了,请检查涉及的权限; 你的用户(在 Pi 上)必须能够写入备份驱动器。 此外,你的用户必须能够成功地通过 SSH 远程登录到 Pi。

自动登录

由于我们的目标是自动化这个过程,因此启动备份的登录过程也必须在无人干预的情况下发生。 使 SSH 登录自动化很容易; 只需使用 SSH 密钥登录。 这可以使用 ssh-copy-id 一步完成,它应该在你的 Pi 发行版的存储库中)。 要为这个备份服务器专门使用一个密钥,请使用 ssh config 文件来指定要使用的密钥。

Cron 任务

假设到目前为止一切正常,那么无人值守的备份应该不会失败。 为了实现这一点,请采用你用于初始备份的相同命令,并将其分配给一个 cron 任务。 这通常使用命令 cronjob -e 完成

0 */6 * * * rdiff-backup --exclude-globbing-filelist /home/seth/.excludes \
/home/seth/ seth@192.168.3.14::/backupdrive/seth/

该 cron 任务每六小时(在整点)运行备份命令。 你可以根据你的需要调整频率。

恢复数据

现在备份已经自动化了,你实际上只需要记住一个命令:如何从你如此尽职尽责地进行的备份中恢复文件。

最简单的恢复命令就像 rsyncscp 一样简单

$ rdiff-backup --restore-as-of now \
seth@192.168.3.14::/backupdrive/seth/paint/tux.svg \
~/paint/tux.svg

此命令从备份服务器恢复最新版本的 tux.svg 到你的客户端计算机上的相同路径。 请注意,你无需担心特殊文件路径来考虑版本; 如果你想要最新版本,你只需恢复丢失或已损坏的相同路径,并让 rdiff-backup 将该请求解析为最新版本。

但是 --restore-as-of 选项比这更灵活。 也许你需要的文件版本是五天前的

$ rdiff-backup --restore-as-of 5D
seth@192.168.3.14::/backupdrive/seth/paint/tux.svg \
~/paint/tux.svg

还有其他几种恢复文件的方法,它们都列在官方的 rdiff-backup 文档中,但在实践中我发现 --restore-as-of 选项是最常用的选项。 在不太常见的情况下,你知道文件的最后一个好版本的确切日期和时间,并且需要非常具体地从你的备份中提取它,rdiff-backup 也可以为你处理,你只需要获取相当笨拙的 diff 文件名,该文件名与备份数据一起存储在备份驱动器上。

例如

$ rdiff-backup 192.168.3.14::/backupdrive/seth/rdiff-backup-data/increments/ \
paint.2016-01-24T06:06:00-07:00.diff.gz $HOME

这会从 1 月 24 日凌晨 6:06 执行的备份中恢复文件 paint。 当然,它不会仅仅将该文件的 diff 数据放入你的主目录,而是文件的完全重建版本。 这就是 rdiff-backup 的用途。

备份它

备份很重要,你的旧 Pi 可以提供帮助。 今天就设置它,你不会后悔的。

标签
Seth Kenlon
Seth Kenlon 是一位 UNIX 极客、自由文化倡导者、独立多媒体艺术家和 D&D 爱好者。 他曾在电影和计算机行业工作,通常同时在两个行业工作。

16 条评论

写得好,Seth。 我还有一两个 Pi 在等待一些有用的事情来做。 这将是一个很好的方法。

我使用一套我自己多年来创建的、基于 rsync 的脚本。 我每天创建一个新路径,并使用 link-dest 参数指向最近的上一次备份。 我脚本中的 rsync 命令然后在今天的备份目录中创建到昨天目录的硬链接。 然后它检查所需的更新,并在今天的目录中添加新文件和修改现有文件,只留下昨天的目录,方法是为已更改的链接文件创建新副本,仅断开与这些文件的昨天的链接。 然后它修改新创建的未链接文件,将以前的版本保留为存档。 我保留 30 天的存档。

你的解决方案看起来也很优雅。

再次,开源的力量通过几乎任何任务可用的许多强大且可自定义的替代方案得以展现。

嘿,David,那个脚本可能值得在某个地方公开发布! 听起来真不错,而且我总是对大型不可区分的数据 blob 的效率感到好奇。 听起来你的脚本可能值得尝试一下。

回复 ,作者 dboth

很棒的文章,Seth! 我一直在绞尽脑汁寻找更好的方法来管理我的备份,这为我指明了一条新的道路,让我去探索!

它让我的家庭网络得到了很好的备份。 显然,它没有解决的一个问题是异地备份,但我正在考虑与在美国的家人启动一个“备份交换”计划; 我将在我家的 Pi 上驱动他的备份,他将在他家的 Pi 上驱动和托管我的备份。 异地,我们彼此信任的数据中心。

回复 ,作者 druthb

好项目,我会尝试 asp..

备份永远不是坏主意,而且让旧 Pi 工作肯定比让它闲置并积满灰尘要好!

回复 ,作者 Hamdta Paulo (未验证)

这太棒了,谢谢 Seth。

备份可以加密吗?

我加密了一些驱动器,但如果备份没有加密,那就有点毫无意义了。

当然可以! 我认为最简单的方法是加密卷本身。 我使用 LUKS 来做到这一点。 我会记下这会成为未来文章的一个好主题,但简短的版本是 LUKS 是 Linux 原生的,所以只要你的 Pi 和计算机都配置为挂载和解密驱动器,它们都将自由地从卷中读取和写入。 没问题。 由于 rsync 使用 SSH,因此流量本身也已加密。

当然,任何其他插入驱动器的计算机都无法解密驱动器,除非你自己提供凭据。

回复 ,作者 Dave McIntyre (未验证)

只是想知道这是否可以被改造为自动化来自几个班级的 Raspberry Pi 的备份。 我在中学教计算机科学,每天可能有最多 45 名学生使用 Pi,但并非所有学生都在同一时间..... 这听起来可行吗?

真的不需要改造。 它绝对可以做到这一点。 我的家庭网络有两位用户,分布在四台机器上(显然远不及 45 位用户); 每台机器都产生自己的 rdiff-backup 进程,并且通常的数据量不会导致瓶颈。 我认为教室里也不太可能出现交通堵塞,除非你的学生创建了大量的数据。但是,我可能会做的是使用 git 并教学生备份他们自己的工作! Git 很容易在 Pi 或备用机器上设置。 由于 45 名学生需要管理很多用户帐户,我(再次,在较小的环境中;通常每次不超过 10 名学生的班级)只是为每个班级创建了一个 git 存储库,然后让每个学生在班级存储库中创建他们自己的分支。 这不是完全符合预期的设计,但对于简单的学生作业来说,它往往可以正常工作。 对于高级课程,我只是让他们 SSH 进入服务器并自己创建自己的 git 存储库。 这都是在一个仅供教室使用的服务器上完成的,在一个私有的班级局域网内,显然。

回复 ,作者 Bob Irving (未验证)

嗯... 如果你需要文件版本控制,那么也许添加到 rsync 正确的文件系统 - BTRFS 会更容易?
前段时间我一直在使用 Backuppc,它也使用 rsync,但也有一些重复数据删除选项。

好主意。 使用 BTRFS 将是一件很棒的事情,值得在未来研究。

回复 ,作者 asd (未验证)

图片中的 Raspberry Pi 是哪个版本的? 我的看起来不像那样。

我是最初发帖的人。 我们明年有 20 个 RPi,我被提醒我们需要一个解决方案。 我查看了 PiNet,它可能很完美,但我们所有的东西都在 wifi 上运行,而 PiNet 不支持 wifi。 所以现在我重新审视这个问题。 由于学生将共享 Pi(可能多达 60 名学生使用 20 个 Pi),我也担心学生会互相覆盖对方的东西。 如果 PiNet 支持 wifi 就好了....

Bob,PiNet 实际上并不知道你是否正在使用 wifi(网络上的一个节点就是网络上的一个节点),但 PiNet 正在警告你,如果你的 wifi 性能较慢,那么你的系统性能将会很慢。 因此,如果你的 wifi 足够好,那么理论上你可以尝试一下。
.
如果不是,那么请记住 Pi 是一个 Linux 系统; 它原生支持多用户。 为什么不给每个学生一个唯一的登录名,这样他们就不能互相覆盖对方的东西了? 如果没有身份管理,你必须在主 SD 卡上创建一次用户,然后为所有其他 Pi 复制该卡(假设无论如何你都必须这样做)。 使用这些登录凭据作为你的共享文件备份和版本控制的基础。
.
另外,不要低估孩子们。 一个当地组织 Makerbox.org.nz 在 Linux 计算机上为轮换的学生群体开设了很多课程。 老师们使用一个通用的登录名,只是强制要求孩子们将他们的作业保存在一个以他们的名字命名的文件夹中(通常在每天结束时“备份”,因为老师必须将目录复制到拇指驱动器上以便她检查他们的作业),并且效果很好。 没有人删除任何其他人的目录。
.
你可以尝试在 http://linuxquestions.org 上发布你的问题和想法; 这是一个支持论坛,所以那里可能有更好的想法。 无论如何,我想知道一篇“课堂管理”文章是否会在我的未来出现....

回复 ,作者 Bob Irving (未验证)

Creative Commons License本作品根据 Creative Commons Attribution-Share Alike 4.0 International License 许可。
© . All rights reserved.