使用 GNU Parallel 在 Linux 命令行中完成更多任务

图片来源：

Opensource.com

您是否曾经觉得您的计算机不够快？我以前有这种感觉，然后我发现了 GNU Parallel。

GNU Parallel 是一个用于并行执行作业的 shell 实用程序。它可以解析多个输入，从而同时针对数据集运行您的脚本或命令。您终于可以完全使用您的 CPU 了！

如果您使用过 xargs，您就已经知道如何使用 Parallel 了。如果您不了解，那么本文将教您，以及许多其他用例。

安装 GNU Parallel

GNU Parallel 可能未预装在您的 Linux 或 BSD 计算机上。从您的存储库或端口集合中安装它。例如，在 Fedora 上

$ sudo dnf install parallel

或者在 NetBSD 上

# pkg_add parallel

如果一切都失败了，请参考项目主页。

从串行到并行

顾名思义，Parallel 的优势在于它并行运行作业，而不是像我们许多人仍然做的那样，顺序运行。

当您针对许多对象运行一个命令时，您本质上是在创建一个队列。命令可以处理一定数量的对象，而所有其他对象只能站在那里等待轮到它们。这是低效的。如果有足够的数据，总是会有一个队列，但是为什么不拥有许多小队列，而不是只有一个队列呢？

想象一下，您有一个装满图像的文件夹，您想将它们从 JPEG 转换为 PNG。有很多方法可以做到这一点。有一种手动方法是在 GIMP 中打开每个图像并将其导出为新格式。这通常是最糟糕的方法。它不仅耗时，而且劳动强度大。

这个主题的一个非常巧妙的变体是基于 shell 的解决方案

$ convert 001.jpeg 001.png
$ convert 002.jpeg 002.png
$ convert 003.jpeg 003.png
... and so on ...

当您第一次学习它时，这是一个很棒的技巧，并且最初它是一个巨大的改进。无需 GUI 和不断点击。但这仍然是劳动密集型的。

更好的是

$ for i in *jpeg; do convert $i $i.png ; done

至少，这将启动作业并让您有空去做更多有成效的事情。问题是，它仍然是一个串行过程。一个图像被转换，然后队列中的下一个图像步入转换，依此类推，直到队列被清空。

使用 Parallel

$ find . -name "*jpeg" | parallel -I% --max-args 1 convert % %.png

这是两个命令的组合：find 命令，它收集您要操作的对象，以及 parallel 命令，它对对象进行排序并确保所有内容都按要求处理。

find . -name "*jpeg" 查找当前目录中所有以 jpeg 结尾的文件。
parallel 调用 GNU Parallel。
-I% 创建一个占位符，称为 %，用于代表 find 传递给 Parallel 的任何内容。您使用它是因为否则您必须为 find 的每个结果手动编写一个新命令，而这正是您试图避免的。
--max-args 1 限制 Parallel 从队列请求新对象的速率。由于 Parallel 正在运行的命令只需要一个文件，因此您将速率限制为 1。如果您正在执行一个更复杂的命令，该命令需要两个文件（例如 cat 001.txt 002.txt > new.txt），您将速率限制为 2。
convert % %.png 是您想在 Parallel 中运行的命令。

此命令的结果是 find 收集所有相关文件并将它们交给 parallel，后者启动一个作业并立即请求队列中的下一个。Parallel 继续这样做，只要在不削弱您的计算机的情况下启动新作业是安全的。当旧作业完成时，它会用新作业替换它们，直到提供给它的所有数据都已被处理。以前需要 10 分钟的时间，使用 Parallel 可能只需要 5 分钟或 3 分钟。

多个输入

只要您熟悉 find 和 xargs（统称为 GNU Find Utilities，或 findutils），find 命令就是一个通往 Parallel 的绝佳途径。它提供了一个灵活的界面，许多 Linux 用户已经很熟悉，如果您是新手，也很容易学习。

find 命令非常简单：您向 find 提供要搜索的目录的路径以及要搜索的文件名的一部分。使用通配符来扩大您的范围；在本例中，星号表示任何内容，因此 find 查找所有以字符串 searchterm 结尾的文件

$ find /path/to/directory -name "*searchterm"

默认情况下，find 一次返回一个搜索结果，每行一个项目

$ find ~/graphics -name "*jpg"
/home/seth/graphics/001.jpg
/home/seth/graphics/cat.jpg
/home/seth/graphics/penguin.jpg
/home/seth/graphics/IMG_0135.jpg

当您将 find 的结果管道传输到 parallel 时，每行上的每个项目都被视为 parallel 仲裁的命令的一个参数。另一方面，如果您需要在一个命令中处理多个参数，您可以拆分队列中数据传递给 parallel 的方式。

这是一个简单的、不切实际的例子，稍后我会将其变成更有用的东西。只要您安装了 GNU Parallel，您就可以按照这个例子进行操作。

假设您有四个文件。逐行列出它们，以准确查看您拥有的内容

$ echo ada > ada ; echo lovelace > lovelace
$ echo richard > richard ; echo stallman > stallman
$ ls -1
ada
lovelace
richard
stallman

您想将两个文件合并为一个第三个文件，其中包含两个文件的内容。这需要 Parallel 可以访问两个文件，因此 -I% 变量在这种情况下不起作用。

Parallel 的默认行为基本上是不可见的

$ ls -1 | parallel echo
ada
lovelace
richard
stallman

现在告诉 Parallel 您希望每个作业获取两个对象

$ ls -1 | parallel --max-args=2 echo
ada lovelace
richard stallman

现在行已被合并。具体来说，来自 ls -1 的两个结果一次性传递给 Parallel。对于此任务来说，这是正确的参数数量，但它们现在实际上是一个参数：“ada lovelace” 和 “richard stallman”。您真正想要的是每个作业两个不同的参数。

幸运的是，这个技术细节由 Parallel 本身解析。如果您将 --max-args 设置为 2，您将获得两个变量，{1} 和 {2}，分别代表参数的第一部分和第二部分

$ ls -1 | parallel --max-args=2 cat {1} {2} ">" {1}_{2}.person

在此命令中，变量 {1} 是 ada 或 richard（取决于您查看哪个作业），{2} 是 lovelace 或 stallman。文件的内容通过重定向符号在引号中重定向（引号从 Bash 中获取重定向符号，以便 Parallel 可以使用它），并放入名为 ada_lovelace.person 和 richard_stallman.person 的新文件中。

$ ls -1
ada
ada_lovelace.person
lovelace
richard
richard_stallman.person
stallman

$ cat ada_*person
ada lovelace
$ cat ri*person
richard stallman

如果您整天都在解析数百兆字节大小的日志文件，您可能会看到并行文本解析对您有多么有用；否则，这主要是一个演示练习。

但是，这种处理方式对于文本解析以外的用途也很有价值。这是一个来自电影界的真实案例。考虑一个视频文件和音频文件的目录，它们需要连接在一起。

$ ls -1
12_LS_establishing-manor.avi
12_wildsound.flac
14_butler-dialogue-mixed.flac
14_MS_butler.avi
...and so on...

使用相同的原则，可以创建一个简单的命令，以便并行组合文件

$ ls -1 | parallel --max-args=2 ffmpeg -i {1} -i {2} -vcodec copy -acodec copy {1}.mkv

暴力破解。

所有这些花哨的输入和输出解析并不适合所有人。如果您更喜欢更直接的方法，您可以向 Parallel 抛出命令然后走开。

首先，创建一个文本文件，每行一个命令

$ cat jobs2run
bzip2 oldstuff.tar
oggenc music.flac
opusenc ambiance.wav
convert bigfile.tiff small.jpeg
ffmepg -i foo.avi -v:b 12000k foo.mp4
xsltproc --output build/tmp.fo style/dm.xsl src/tmp.xml
bzip2 archive.tar

然后将文件交给 Parallel