Linux 中用于数据分析的 10 个命令行工具

因此，您已经获得了一些想要分析的数据。您从哪里开始？

许多习惯于图形环境的人可能会默认使用电子表格工具，但是还有另一种方法可能证明更快更有效，只需稍加努力即可。并且您无需成为统计建模语言或大数据工具集的专家即可利用这些工具。

我说的是 Linux 命令行。只需使用一些可能已经安装在您计算机上的工具，您就可以了解有关数据集的很多信息，而无需离开终端。Linux 老用户当然会嘲笑——他们多年来一直在使用这些工具来解析日志和理解配置工具。但是对于 Linux 新手来说，您已经拥有整个数据分析工具包这一启示可能是一个受欢迎的惊喜。

这些工具中的大多数严格来说并不局限于 Linux。大多数工具都可以追溯到 Unix 时代，其他类 Unix 操作系统用户可能已经安装了它们，或者可以轻松地进行安装。许多工具是 GNU Coreutils 包的一部分，而另一些工具则由个人维护，通过一些工作，您甚至可以在 Windows 上使用它们。

因此，让我们尝试一些用于数据分析的简单开源工具，看看它们是如何工作的！如果您想按照这些示例进行操作，请下载此 示例数据文件，来自 GitHub，这是一个 CSV（逗号分隔值）列表，其中包含我们 1 月份发布到 Opensource.com 的文章。

head 和 tail

首先，让我们从掌握该文件开始。里面有什么？它的格式是什么样的？您可以使用 cat 命令在终端中显示文件，但如果您要处理的文件超过几十行，这将对我们没有多大帮助。

输入 head 和 tail。两者都是用于显示文件顶部或底部指定行数的实用程序。如果您不指定要查看的行数，您将获得 10 行。让我们用我们的文件试试。

$ tail -n 3 jan2017articles.csv 
02 Jan 2017,Article,Scott Nesbitt,3 tips for effectively using wikis for documentation,1,/article/17/1/tips-using-wiki-documentation,"Documentation, Wiki",710
02 Jan 2017,Article,Jen Wike Huger,The Opensource.com preview for January,0,/article/17/1/editorial-preview-january,,358
02 Jan 2017,Poll,Jason Baker,What is your open source New Year's resolution?,1,/poll/17/1/what-your-open-source-new-years-resolution,,186

查看最后三行，我可以立即挑选出日期、作者姓名、标题和一些其他信息。但我不知道每一列是什么。让我们看看文件的顶部，看看它是否有标题来解释每一列的含义

$ head -n 1 jan2017articles.csv 
Post date,Content type,Author,Title,Comment count,Path,Tags,Word count

好的，现在一切都说得通了。看起来我们有一个文章列表，其中包含发布日期、每篇文章的内容类型、作者、标题、评论数、相对 URL、每篇文章的标签以及字数统计。

wc

太好了，但是这个文件有多大？我们是在谈论几十篇我们想要分析的文章，还是数百篇，甚至数千篇？wc 命令可以帮助解决这个问题。wc 是“word count”的缩写，可以计算文件中的字节数、字符数、单词数或行数。在我们的例子中，我们想知道行数。

$ wc -l jan2017articles.csv 
93 jan2017articles.csv

就是这样。该文件中有 93 行；由于我们知道第一行包含标题，因此我们可以推断这是 92 篇文章的列表。

grep

好的，现在让我们问自己：在这 92 篇文章中，有多少篇是关于安全主题的？为了我们的目的，假设我们对条目中任何地方提到安全的文章感兴趣，无论是在标题、标签列表还是其他地方。grep 工具可以帮助我们解决这个问题。借助 grep，您可以在文件或其他输入中搜索特定的字符模式。由于您可以构建 正则表达式 来匹配非常精确的模式，因此 grep 是一款非常强大的工具。但是现在，让我们只搜索一个简单的字符串。

$ grep -i "security" jan2017articles.csv
30 Jan 2017,Article,Tiberius Hefflin,4 ways to improve your security online right now,3,/article/17/1/4-ways-improve-your-online-security,Security and encryption,1242
28 Jan 2017,Article,Subhashish Panigrahi,How communities in India support privacy and software freedom,0,/article/17/1/how-communities-india-support-privacy-software-freedom,Security and encryption,453
27 Jan 2017,Article,Alan Smithee,Data Privacy Day 2017: Solutions for everyday privacy,5,/article/17/1/every-day-privacy,"Big data, Security and encryption",1424
04 Jan 2017,Article,Daniel J Walsh,50 ways to avoid getting hacked in 2017,14,/article/17/1/yearbook-50-ways-avoid-getting-hacked,"Yearbook, 2016 Open Source Yearbook, Security and encryption, Containers, Docker, Linux",2143

我们使用的格式是 grep，后跟 -i 标志（告诉 grep 不区分大小写），后跟我们要搜索的模式，然后是我们在其中搜索的文件。看来我们上个月有四篇与安全相关的文章。但是让我们想象一下，我们得到的列表比我们容易计数的要长得多。使用 管道，我们可以将 grep 与我们刚刚在上面学习的 wc 命令结合起来，以获得提及安全的总行数的计数。

$ grep -i "security" jan2017articles.csv | wc -l
4

在这种情况下，wc 获取了我们的 grep 命令的输出，并将其用作其输入，而无需担心先将其保存到任何地方。这就是管道输入和输出的原因，尤其是在与一些 shell 脚本 结合使用时，使终端成为数据分析的强大工具。

tr

对于许多分析场景，CSV 文件是一种非常有用的格式，但是如果您需要将文件转换为不同的格式以用于不同的应用程序怎么办？也许您需要制表符分隔符而不是逗号，或者您想将它们更改为某些 HTML，以便可以在表格中使用数据输出。tr 命令可以通过从一种类型的字符转换为另一种类型的字符来帮助您解决这个问题。与往常一样，您可以将输入和输出通过管道传输到此命令。

让我们尝试另一个多部分示例，创建一个仅包含 1 月 20 日发布的文章的 TSV（制表符分隔值）文件。

$ grep "20 Jan 2017" jan2017articles.csv | tr ',' '\t' > jan20only.tsv

这里发生了什么？首先，我们使用 grep 搜索了有问题的日期。我们将此输出通过管道传输到 tr 命令，我们使用它将逗号替换为制表符（用 '\t' 表示）。但是它去哪儿了？好吧，> 字符将输出重定向到我们的新文件而不是屏幕。所有这些工作都在一个命令序列中完成。然后，我们可以验证 jan20only.tsv 文件是否包含我们期望的数据。

$ cat jan20only.tsv 
20 Jan 2017     Article Kushal Das      5 ways to expand your project's contributor base        2       /article/17/1/expand-project-contributor-base    Getting started 690
20 Jan 2017     Article D Ruth Bavousett        How to write web apps in R with Shiny   2       /article/17/1/writing-new-web-apps-shiny Web development 218
20 Jan 2017     Article Jason Baker     "Top 5: Shell scripting  the Cinnamon Linux desktop environment  and more"       0       /article/17/1/top-5-january-20  Top 5   214
20 Jan 2017     Article Tracy Miranda   How is your community promoting diversity?      1       /article/17/1/take-action-diversity-tech Diversity and inclusion 1007

sort

如果我们想了解有关特定列的更多详细信息怎么办？我们的新文章列表中哪一篇文章最长？让我们以上一个示例为基础。现在我们有了仅来自 1 月 20 日的文章列表，我们可以使用 sort 命令按字数统计列进行排序。当然，严格来说，我们不需要中间文件；我们可以通过管道传输上一个命令的输出。但是有时将长步骤分解为较小的步骤，而不是创建巨大的命令链更容易。

$ sort -nr -t$'\t' -k8 jan20only.tsv | head -n 1
20 Jan 2017     Article Tracy Miranda   How is your community promoting diversity?      1       /article/17/1/take-action-diversity-tech Diversity and inclusion 1007

这是另一个很长的例子，让我们分解一下发生了什么。首先，我们使用 sort 命令按字数排序。-nr 选项告诉 sort 执行数字排序，并按相反的顺序（从最大到最小）返回结果。下一个 -t$'\t' 告诉 sort 分隔符是制表符 ('\t')。（您可以 在这里 阅读为什么需要美元符号；简而言之，这是为了告诉 shell 这是一个需要处理的字符串，以将 \n 转换为实际的制表符）。命令的 -k8 部分告诉 sort 使用第八列，即我们示例中的字数统计列。

最后，整个输出通过管道传输到 head，并指示仅显示顶行，这是我们的结果，即此文件中字数统计最高的文章。

sed

您可能想要选择文件的特定行。sed，是流编辑器 (stream editor) 的缩写，是一种执行此操作的方法。如果您想合并多个都有标题的文件怎么办？您只想为整个文件显示一组标题，因此您需要一种方法来删除多余的标题。或者，如果您只想获取特定范围的行怎么办？sed 是您的工具。它也是批量查找和替换文件的绝佳方式。

让我们从我们的文章列表中创建一个没有标题的新文件，适合与其他文件合并（例如，如果我每个月都有一个不同的文件并想将它们放在一起）。

$ sed '1 d' jan2017articles.csv > jan17no_headers.csv

'1 d' 选项告诉 sed 删除第一行。sed 比这强大得多，我建议您进一步阅读其 替换功能。

cut

如果我不想删除行，而是想删除列怎么办？如果我只想挑选一列怎么办？让我们为我们在上面构建的示例创建一个新的作者列表。

$ cut -d',' -f3 jan17no_headers.csv > authors.txt

在这个简单的示例中，我们使用 -d',' 告诉 cut 这是一个逗号分隔的文件，我们想要第三列（-f3），并将输出发送到一个名为 authors.txt 的新文件。

uniq

最后一个示例给我们留下了一个作者列表，但是，该列表中有多少个不同的作者？每位作者撰写了多少篇文章？输入 uniq。使用 uniq，您可以轻松找到答案。让我们对文件进行排序，查找唯一值，然后输出一个包含每位作者撰写的文章数的文件的文件。

sort authors.txt | uniq -c > authors-sorted.txt

浏览一下文件，我们现在可以看到每位作者有多少篇文章。让我们只看最后三行以确保它有效。

$ tail -n3 authors-sorted.txt
      1 Tracy Miranda
      1 Veer Muchandi
      3 VM (Vicky) Brasseur

awk

今天让我们看看命令行数据分析工具箱中的另一个工具，awk。awk 是另一个我给予的评价过低的工具；它确实是一个 值得探索 的强大工具。它是另一个用于替换的好工具，而且功能更多。让我们回到我们之前创建的仅包含 1 月 20 日文章的 TSV 文件，并使用它来创建一个仅包含这些文章的作者以及每位作者撰写的字数的新列表。

$ awk -F "\t" '{print $3 "  " $NF}' jan20only.tsv
Kushal Das  690
D Ruth Bavousett  218
Jason Baker  214
Tracy Miranda  1007

这里发生了什么？ 我们传递给 awk 的 -F "\t" 只是告诉它我们正在处理制表符分隔的数据。 在花括号内，我们实际上是告诉 awk 执行一小段代码。 我们告诉它打印第三列 $3，然后打印最后一列 $NF（“字段数”），并在它们之间放置两个空格，使其更具可读性。

所以呢？ 我们不能在电子表格中更快地完成所有这些，或者只是在某些情况下查看文件吗？ 当然可以！ 现在停下来想象一下，我们处理的不是一个 93 行的文件，而是一个 93,000 行甚至更大的文件。 您的电子表格实用程序可以在不崩溃或显着减慢速度的情况下加载它吗？ 或者想象一下，你拥有的不是一个包含一个月文章的文件，而是过去七年每个月都有不同的文件。 突然间，电子表格不再是处理数据的最佳选择，但您还没有达到需要使用真正的大数据工具来处理数据集的程度。

您可以选择将文件加载到数据库工具中，并在那里处理数据。 但这是一个正确的选择吗？ 这可能有点过度。 如果您只是检查数据以了解其中包含的内容呢？ 通过这些简单的工具和一些脚本来递归遍历目录，您可以轻松地处理大量数据。 经常处理数据的专业人士和业余爱好者最好花一些时间学习这些和其他命令行数据分析工具。

这个介绍只是触及了每个工具的表面。 它们远比这些简单的例子所展示的强大得多，这就是为什么关于大多数工具都写了很多卷书籍的原因。 我希望您花时间阅读手册页，在搜索引擎中做一些工作，或者拿起一本书，更多地了解您触手可及的这套有趣的工具。