Linux 中用于数据分析的 10 个命令行工具

当终端可以更快、更强大且更易于编写脚本时，为什么还要将所有内容都加载到电子表格中？

图片来源：

Opensource.com

因此，您已经获得了一些想要分析的数据。您从哪里开始？

许多习惯于在图形环境中使用的人可能会默认使用电子表格工具，但是还有另一种方法可能会更快、更有效，只需要稍多一点的努力。而且您不需要成为统计建模语言或大数据工具集的专家即可利用这些工具。

您可以在不离开终端的情况下了解大量数据集。

我指的是 Linux 命令行。仅使用您可能已经在计算机上安装的一些工具，您就可以在不离开终端的情况下了解大量数据集。资深的 Linux 用户当然会嘲笑——他们多年来一直在使用这些工具来解析日志和理解配置工具。但是对于 Linux 新手来说，您已经拥有触手可及的完整数据分析工具包这一发现可能是一个受欢迎的惊喜。

这些工具中的大多数实际上并不限于 Linux。大多数工具都可以追溯到 Unix 时代，其他类 Unix 操作系统用户可能已经安装了这些工具，或者可以轻松地安装它们。许多工具是 GNU Coreutils 包的一部分，而少数工具是单独维护的，并且经过一些工作，您甚至可以在 Windows 上使用它们。

因此，让我们尝试一些用于数据分析的简单开源工具，看看它们是如何工作的！如果您想按照这些示例进行操作，请下载此示例数据文件，来自GitHub，这是一个 CSV（逗号分隔值）列表，其中包含我们 1 月份发布到 Opensource.com 的文章。

head 和 tail

首先，让我们开始了解该文件。它有什么？它的格式是什么样的？您可以使用 cat 命令在终端中显示文件，但是如果您要处理超过几十行的文件，这将对我们没有多大用处。

输入 head 和 tail。两者都是用于显示文件顶部或底部指定行数的实用程序。如果您不指定要查看的行数，您将获得 10 行。让我们用我们的文件来试试。

$ tail -n 3 jan2017articles.csv 
02 Jan 2017,Article,Scott Nesbitt,3 tips for effectively using wikis for documentation,1,/article/17/1/tips-using-wiki-documentation,"Documentation, Wiki",710
02 Jan 2017,Article,Jen Wike Huger,The Opensource.com preview for January,0,/article/17/1/editorial-preview-january,,358
02 Jan 2017,Poll,Jason Baker,What is your open source New Year's resolution?,1,/poll/17/1/what-your-open-source-new-years-resolution,,186

查看最后三行，我可以立即挑出一个日期、作者姓名、标题和其他一些信息。但我不知道每一列是什么。让我们看看文件的顶部，看看它是否有标题来解释每一列的含义

$ head -n 1 jan2017articles.csv 
Post date,Content type,Author,Title,Comment count,Path,Tags,Word count

好的，现在一切都说得通了。看来我们有一个文章列表，其中包含文章的发布日期、每篇文章的内容类型、作者、标题、评论数、相对 URL、每篇文章的标签以及字数统计。

wc

太好了，但是这个文件有多大？我们是在谈论几十篇我们想要分析的文章，还是数百篇甚至数千篇？wc 命令可以提供帮助。wc 是“word count”的缩写，可以计算文件中的字节数、字符数、单词数或行数。在我们的例子中，我们想知道行数。

$ wc -l jan2017articles.csv 
93 jan2017articles.csv

就在这里。这个文件中有 93 行；由于我们知道第一行包含标题，因此我们可以推测这是一个包含 92 篇文章的列表。

grep

好的，现在让我们问自己：在这些 92 篇文章中，有多少篇是关于安全主题的？就我们的目的而言，让我们说我们对条目中任何地方（无论是在标题、标签列表还是其他地方）提到安全性的文章感兴趣。grep 工具可以帮助我们。借助 grep，您可以搜索文件或其他输入中特定的字符模式。由于您可以构建正则表达式以匹配非常精确的模式，因此 grep 是一款非常强大的工具。但是现在，让我们只搜索一个简单的字符串。

$ grep -i "security" jan2017articles.csv
30 Jan 2017,Article,Tiberius Hefflin,4 ways to improve your security online right now,3,/article/17/1/4-ways-improve-your-online-security,Security and encryption,1242
28 Jan 2017,Article,Subhashish Panigrahi,How communities in India support privacy and software freedom,0,/article/17/1/how-communities-india-support-privacy-software-freedom,Security and encryption,453
27 Jan 2017,Article,Alan Smithee,Data Privacy Day 2017: Solutions for everyday privacy,5,/article/17/1/every-day-privacy,"Big data, Security and encryption",1424
04 Jan 2017,Article,Daniel J Walsh,50 ways to avoid getting hacked in 2017,14,/article/17/1/yearbook-50-ways-avoid-getting-hacked,"Yearbook, 2016 Open Source Yearbook, Security and encryption, Containers, Docker, Linux",2143

我们使用的格式是 grep，后跟 -i 标志（告诉 grep 不区分大小写），后跟我们要搜索的模式，然后是我们要搜索的文件。看来我们上个月有四篇与安全相关的文章。但是让我们想象一下，我们得到了一个比我们可以轻松计算的长得多的列表。使用管道，我们可以将 grep 与我们上面刚学到的 wc 命令结合起来，以获得提到安全性的总行数的计数。

$ grep -i "security" jan2017articles.csv | wc -l
4

在这种情况下，wc 将我们的 grep 命令的输出作为其输入，而无需担心首先将其保存到任何地方。这就是管道输入和输出的原因，尤其是在与一点shell 脚本结合使用时，使终端成为如此强大的数据分析工具。

tr

对于许多分析方案来说，CSV 文件是一种非常有用的格式，但是如果您需要将文件转换为不同的格式以在其他应用程序中使用该怎么办？也许您需要制表符分隔符而不是逗号，或者您想将它们更改为一些 HTML，以便可以在表格中使用数据输出。tr 命令可以通过从一种类型的字符转换为另一种类型的字符来帮助您。与其他示例一样，您也可以将输入和输出管道传输到此命令。

让我们尝试另一个多部分示例，创建一个仅包含 1 月 20 日发布的文章的 TSV（制表符分隔值）文件。

$ grep "20 Jan 2017" jan2017articles.csv | tr ',' '\t' > jan20only.tsv

这里发生了什么？首先，我们使用 grep 搜索有问题的日期。我们将此输出通过管道传输到 tr 命令，我们使用该命令将逗号替换为制表符（用 '\t' 表示）。但是它去哪了？好吧，> 字符将输出重定向到我们的新文件而不是屏幕。所有这些工作都在一个命令序列中完成。然后，我们可以验证 jan20only.tsv 文件是否包含我们期望的数据。

$ cat jan20only.tsv 
20 Jan 2017     Article Kushal Das      5 ways to expand your project's contributor base        2       /article/17/1/expand-project-contributor-base    Getting started 690
20 Jan 2017     Article D Ruth Bavousett        How to write web apps in R with Shiny   2       /article/17/1/writing-new-web-apps-shiny Web development 218
20 Jan 2017     Article Jason Baker     "Top 5: Shell scripting  the Cinnamon Linux desktop environment  and more"       0       /article/17/1/top-5-january-20  Top 5   214
20 Jan 2017     Article Tracy Miranda   How is your community promoting diversity?      1       /article/17/1/take-action-diversity-tech Diversity and inclusion 1007

sort

如果我们想了解有关特定列的更多详细信息怎么办？我们新文章列表中哪篇文章最长？让我们以上一个示例为基础。现在我们有了仅来自 1 月 20 日的文章列表，我们可以使用 sort 命令按字数统计列进行排序。当然，我们严格来说不需要这里的中间文件；我们可以改为将上一个命令的输出通过管道传输。但是有时将长步骤分解为较小的步骤比创建巨大的命令链更容易。

$ sort -nr -t$'\t' -k8 jan20only.tsv | head -n 1
20 Jan 2017     Article Tracy Miranda   How is your community promoting diversity?      1       /article/17/1/take-action-diversity-tech Diversity and inclusion 1007

这是另一个冗长的示例，因此让我们分解一下发生了什么。首先，我们使用 sort 命令按字数排序。-nr 选项告诉 sort 执行数字排序，并以相反的顺序（从大到小）返回结果。下一个 -t$'\t' 告诉 sort 分隔符是制表符 ('\t')。（您可以在此处阅读为什么需要美元符号；简而言之，这是为了告诉 shell 这是一个需要处理的字符串，以便将 \n 转换为实际的制表符）。命令的 -k8 部分告诉 sort 使用第八列，这是我们示例中的字数统计列。

最后，整个输出通过管道传输到 head，并指示仅显示第一行，这是我们的结果，即此文件中字数统计最高的文章。

sed

您可能需要选择文件的特定行。sed 是流编辑器的缩写，是执行此操作的一种方法。如果您要合并所有带有标题的多个文件怎么办？您只想为一个文件显示一组标题，因此您需要一种删除额外标题的方法。或者，如果您只想获取特定范围的行怎么办？sed 是您的工具。它也是批量查找和替换文件的绝佳方式。

让我们从我们的文章列表中创建一个没有标题的新文件，适合与其他文件组合（例如，如果我每个月都有一个不同的文件并且想将它们放在一起）。

$ sed '1 d' jan2017articles.csv > jan17no_headers.csv

'1 d' 选项告诉 sed 删除第一行。sed 比这强大得多，我建议您进一步阅读其替换功能。

cut

如果我不想删除行，而是想删除列怎么办？如果我只想挑选一列怎么办？让我们为我们在上面构建的示例创建一个新的作者列表。

$ cut -d',' -f3 jan17no_headers.csv > authors.txt

在这个简单的示例中，我们用 -d',' 告诉 cut 这是一个逗号分隔的文件，我们想要第三列 (-f3)，并将输出发送到一个名为 authors.txt 的新文件。

uniq

上一个示例给我们留下了一个作者列表，但是该列表上有多少个唯一作者？每位作者写了多少篇文章？输入 uniq。使用 uniq，您可以轻松找到答案。让我们对文件进行排序，查找唯一值，然后输出一个文件，其中包含每位作者撰写的文章数的计数。

sort authors.txt | uniq -c > authors-sorted.txt

浏览该文件，我们现在可以看到每位作者有多少篇文章。让我们只看最后三行以确保它有效。

$ tail -n3 authors-sorted.txt
      1 Tracy Miranda
      1 Veer Muchandi
      3 VM (Vicky) Brasseur

awk

今天我们来学习命令行数据分析工具箱里的另一个工具，awk。awk是另一个我没能充分介绍的工具；它实际上是一个功能强大的工具，值得深入探索。它也是一个很棒的替换工具，但功能远不止于此。让我们回到之前创建的仅包含 1 月 20 日文章的 TSV 文件，并使用它来创建一个仅包含这些文章作者及其各自文章字数的新列表。

$ awk -F "\t" '{print $3 "  " $NF}' jan20only.tsv
Kushal Das  690
D Ruth Bavousett  218
Jason Baker  214
Tracy Miranda  1007

这是怎么回事？我们传递给 awk 的 -F "\t" 只是告诉它我们正在处理制表符分隔的数据。在花括号内，我们实际上是在告诉 awk 执行一小段代码。我们告诉它用 $3 打印第三列，然后用 $NF（“字段数”）打印最后一列，并在它们之间放两个空格，使它更易于阅读。

那又怎样？我们不能在电子表格中更快地完成所有这些操作，或者只是在某些情况下直接查看文件吗？当然可以！现在请想象一下，我们处理的不是 93 行的文件，而是 93,000 行甚至更大的文件。你的电子表格实用程序是否可以在不崩溃或显著减慢速度的情况下加载它？或者想象一下，不是一个包含一个月文章的文件，而是过去七个月每个月都有一个不同的文件。突然之间，电子表格不再是处理数据的最佳选择，但你离需要真正的**大数据**工具来处理你的数据集还差得很远。

你可以选择将文件加载到数据库工具中并在那里处理数据。但那是正确的选择吗？可能有点矫枉过正。如果你只是检查数据以了解它包含的内容呢？有了这些简单的工具和一些脚本来递归遍历目录，你可以轻松处理大量数据。经常处理数据的专业人士和业余爱好者都应该花一些时间学习这些以及其他命令行数据分析工具。

这个介绍只是略微触及了每个工具的表面。它们远比这些简单的例子所展示的要强大得多，这就是为什么关于它们的书已经写了很多卷。我希望你花时间阅读手册页，在搜索引擎中做一些工作，或者拿起一本书，更多地了解你手头上的这套有趣的工具。

标签

Linux