Linux 中用于数据分析的 10 个命令行工具

当终端可以更快、更强大且更易于脚本化时，为什么还要将所有内容加载到电子表格中？

图片来源

Opensource.com

因此，您获得了一些想要分析的数据。您从哪里开始呢？

许多习惯于在图形环境工作的人可能会默认使用电子表格工具，但还有另一种方法可能被证明更快、更有效，只需稍加努力。而且您无需成为统计建模语言或大数据工具集的专家即可利用这些工具。

您无需离开终端即可了解有关数据集的很多信息。

我指的是 Linux 命令行。只需使用一些您可能已经在计算机上安装的工具，您无需离开终端即可了解有关数据集的很多信息。Linux 老用户当然会嘲笑——他们多年来一直在使用许多这些工具来解析日志和理解配置工具。但对于 Linux 新手来说，您已经掌握了整套数据分析工具包这一启示可能是一个受欢迎的惊喜。

大多数这些工具并非严格限于 Linux。它们大多可以追溯到 Unix 时代，其他类 Unix 操作系统用户可能已经安装了它们，或者可以轻松安装。许多工具是 GNU Coreutils 软件包的一部分，而少数工具是单独维护的，并且通过一些努力，您甚至可以在 Windows 上使用它们。

那么，让我们尝试一些简单的开源数据分析工具，看看它们是如何工作的！如果您想跟随这些示例，请继续下载这个示例数据文件，来自 GitHub，这是一个 CSV（逗号分隔值）列表，其中包含我们在 1 月份发布到 Opensource.com 的文章。

head 和 tail

首先，让我们开始了解这个文件。它里面有什么？它的格式是什么样的？您可以使用 cat 命令在终端中显示文件，但如果您要处理的文件超过几十行，那对我们没有多大用处。

输入 head 和 tail。两者都是用于显示文件顶部或底部指定行数的实用程序。如果您不指定要查看的行数，您将获得 10 行。让我们用我们的文件试试。

$ tail -n 3 jan2017articles.csv 
02 Jan 2017,Article,Scott Nesbitt,3 tips for effectively using wikis for documentation,1,/article/17/1/tips-using-wiki-documentation,"Documentation, Wiki",710
02 Jan 2017,Article,Jen Wike Huger,The Opensource.com preview for January,0,/article/17/1/editorial-preview-january,,358
02 Jan 2017,Poll,Jason Baker,What is your open source New Year's resolution?,1,/poll/17/1/what-your-open-source-new-years-resolution,,186

看看最后三行，我可以立即挑出一个日期、作者姓名、标题和一些其他信息。但我不知道每一列是什么。让我们看看文件的顶部，看看它是否有标题来解释每列的含义

$ head -n 1 jan2017articles.csv 
Post date,Content type,Author,Title,Comment count,Path,Tags,Word count

好的，现在一切都说得通了。看起来我们有一个文章列表，其中包含发布日期、每篇文章的内容类型、作者、标题、评论数、相对 URL、每篇文章的标签以及字数统计。

wc

这很棒，但是这个文件有多大？我们是在讨论几十篇要分析的文章，还是数百篇，甚至数千篇？wc 命令可以帮助解决这个问题。wc 是“word count”（字数统计）的缩写，可以计算文件中的字节数、字符数、单词数或行数。在我们的例子中，我们想知道行数。

$ wc -l jan2017articles.csv 
93 jan2017articles.csv

就是这样。这个文件中有 93 行；由于我们知道第一行包含标题，我们可以推测这是一个包含 92 篇文章的列表。

grep

好的，现在让我们问问自己：在这 92 篇文章中，有多少篇是关于安全主题的？为了我们的目的，假设我们对在条目中任何地方提及安全的文章感兴趣，无论是在标题、标签列表还是其他地方。grep 工具可以帮助我们做到这一点。使用 grep，您可以在文件或其他输入中搜索特定的字符模式。grep 是一个非常强大的工具，这要归功于您可以构建正则表达式来匹配非常精确的模式。但现在，我们只搜索一个简单的字符串。

$ grep -i "security" jan2017articles.csv
30 Jan 2017,Article,Tiberius Hefflin,4 ways to improve your security online right now,3,/article/17/1/4-ways-improve-your-online-security,Security and encryption,1242
28 Jan 2017,Article,Subhashish Panigrahi,How communities in India support privacy and software freedom,0,/article/17/1/how-communities-india-support-privacy-software-freedom,Security and encryption,453
27 Jan 2017,Article,Alan Smithee,Data Privacy Day 2017: Solutions for everyday privacy,5,/article/17/1/every-day-privacy,"Big data, Security and encryption",1424
04 Jan 2017,Article,Daniel J Walsh,50 ways to avoid getting hacked in 2017,14,/article/17/1/yearbook-50-ways-avoid-getting-hacked,"Yearbook, 2016 Open Source Yearbook, Security and encryption, Containers, Docker, Linux",2143

我们使用的格式是 grep，后跟 -i 标志（告诉 grep 不区分大小写），后跟我们要搜索的模式，然后是我们正在搜索的文件。看起来我们上个月有四篇与安全相关的文章。但是，假设我们得到的列表比我们容易计数的要长得多。使用管道，我们可以将 grep 与我们刚刚在上面学到的 wc 命令结合起来，以获得提及安全性的总行数计数。

$ grep -i "security" jan2017articles.csv | wc -l
4

在本例中，wc 接受了我们 grep 命令的输出，并将其用作其输入，而无需担心先将其保存在任何地方。这就是为什么管道输入和输出，特别是当与少量 shell 脚本结合使用时，使终端成为如此强大的数据分析工具的原因。

tr

CSV 文件对于许多分析场景来说是一种非常有用的格式，但是如果您需要将文件转换为不同的格式以在不同的应用程序中使用怎么办？也许您需要制表符而不是逗号，或者您想将它们更改为某些 HTML，以便您可以在表格中使用数据输出。tr 命令可以通过将一种类型的字符转换为另一种类型来帮助您做到这一点。与其他示例一样，您也可以将输入和输出管道传输到此命令。

让我们尝试另一个多部分示例，创建一个仅包含 1 月 20 日发布的文章的 TSV（制表符分隔值）文件。

$ grep "20 Jan 2017" jan2017articles.csv | tr ',' '\t' > jan20only.tsv

这里发生了什么？首先，我们使用 grep 搜索了有问题的日期。我们将此输出通过管道传输到 tr 命令，我们使用该命令将逗号替换为制表符（用 '\t' 表示）。但它去哪儿了？嗯，> 字符将输出重定向到我们的新文件而不是屏幕。所有这些工作都在一个命令序列中完成。然后我们可以验证 jan20only.tsv 文件是否包含我们期望的数据。

$ cat jan20only.tsv 
20 Jan 2017     Article Kushal Das      5 ways to expand your project's contributor base        2       /article/17/1/expand-project-contributor-base    Getting started 690
20 Jan 2017     Article D Ruth Bavousett        How to write web apps in R with Shiny   2       /article/17/1/writing-new-web-apps-shiny Web development 218
20 Jan 2017     Article Jason Baker     "Top 5: Shell scripting  the Cinnamon Linux desktop environment  and more"       0       /article/17/1/top-5-january-20  Top 5   214
20 Jan 2017     Article Tracy Miranda   How is your community promoting diversity?      1       /article/17/1/take-action-diversity-tech Diversity and inclusion 1007

sort

如果我们想了解有关特定列的更多详细信息怎么办？我们新文章列表中哪篇文章最长？让我们以上一个示例为基础。既然我们有了仅来自 1 月 20 日的文章列表，我们可以使用 sort 命令按字数统计列排序。当然，严格来说，我们这里不需要中间文件；我们可以改为管道传输上一个命令的输出。但有时将长步骤分解为较小的步骤，而不是创建巨大的命令链，会更容易。

$ sort -nr -t$'\t' -k8 jan20only.tsv | head -n 1
20 Jan 2017     Article Tracy Miranda   How is your community promoting diversity?      1       /article/17/1/take-action-diversity-tech Diversity and inclusion 1007

这是另一个长示例，所以让我们分解一下正在发生的事情。首先，我们使用 sort 命令按字数排序。-nr 选项告诉 sort 执行数字排序，并按相反的顺序（从大到小）返回结果。下一个 -t$'\t' 告诉 sort 分隔符是制表符 ('\t')。（您可以阅读为什么需要美元符号此处；简而言之，它是告诉 shell 这是一个需要处理以将 \n 转换为实际制表符的字符串）。命令的 -k8 部分告诉 sort 使用第八列，这是我们示例中的字数统计列。

最后，整个输出通过管道传输到 head，并指示仅显示第一行，这是我们的结果，即此文件中字数统计最多的文章。

sed

您可能想要选择文件的特定行。sed，stream editor（流编辑器）的缩写，是执行此操作的一种方法。如果您想组合多个都有标题的文件怎么办？您只想在整个文件中显示一组标题，因此您需要一种方法来删除多余的标题。或者，如果您只想获取特定范围的行怎么办？sed 是您的工具。它也是对文件执行批量查找和替换的好方法。

让我们从我们的文章列表中创建一个没有标题的新文件，适用于与其他文件组合（例如，如果我每个月都有一个不同的文件，并且想将它们放在一起）。

$ sed '1 d' jan2017articles.csv > jan17no_headers.csv

'1 d' 选项告诉 sed 删除第一行。sed 的功能远不止于此，我建议进一步阅读其替换功能。

cut

如果我不想删除行，而是想删除列怎么办？如果我想只挑出一列怎么办？让我们为我们上面构建的示例创建一个新的作者列表。

$ cut -d',' -f3 jan17no_headers.csv > authors.txt

在这个简单的示例中，我们使用 -d',' 告诉 cut 这是一个逗号分隔的文件，我们想要第三列 (-f3)，并将输出发送到一个名为 authors.txt 的新文件。

uniq

上一个示例给我们留下了一个作者列表，但是，该列表上有多少位独特的作者？每位作者写了多少篇文章？输入 uniq。使用 uniq，您可以轻松找到答案。让我们对文件进行排序，查找唯一值，然后输出一个文件，其中包含每位作者撰写的文章数。

sort authors.txt | uniq -c > authors-sorted.txt

浏览一下文件，我们现在可以看到每位作者有多少篇文章。让我们只看最后三行以确保它有效。

$ tail -n3 authors-sorted.txt
      1 Tracy Miranda
      1 Veer Muchandi
      3 VM (Vicky) Brasseur

awk

今天让我们看一下命令行数据分析工具库中的另一个工具，awk。awk 是我给出的评价过低的另一个工具；它实际上是一个强大的工具，值得自行探索。它是另一个很棒的替换工具，而且功能远不止于此。让我们回到我们之前制作的仅包含 1 月 20 日文章的 TSV 文件，并使用它创建一个新的列表，其中仅包含这些文章的作者以及每位作者撰写的字数。

$ awk -F "\t" '{print $3 "  " $NF}' jan20only.tsv
Kushal Das  690
D Ruth Bavousett  218
Jason Baker  214
Tracy Miranda  1007

这里发生了什么？我们传递给 awk 的 -F "\t" 只是告诉它我们正在处理制表符分隔的数据。在花括号内，我们实际上是在告诉 awk 执行一小段代码。我们告诉它打印第三列，使用 $3，然后打印最后一列，使用 $NF（“字段数”），并在它们之间放置两个空格，使其更易读。

所以呢？我们不能在电子表格中更快地完成所有这些操作，或者只是在某些情况下查看文件吗？当然可以！现在停下来想象一下，我们处理的不是 93 行的文件，而是 93,000 行甚至更大的文件。您的电子表格实用程序可以加载它而不会崩溃或显着减速吗？或者想象一下，您拥有的不是一个包含一个月文章的文件，而是过去七个月中每个月都有一个不同的文件。突然之间，电子表格不是处理数据的最佳选择，但您几乎还没有进入需要真正的大数据工具来处理数据集的领域。

您可以选择将文件加载到数据库工具中并在那里处理数据。但那是正确的选择吗？这可能有点杀鸡用牛刀。如果您只是检查数据以了解其包含的内容怎么办？借助这些简单的工具和少量脚本来遍历目录，您可以轻松处理大量数据。定期处理数据的专业人士和业余爱好者都应该花一些时间学习这些和其他命令行数据分析工具。

本介绍仅触及了每个工具的表面。它们的功能远远超出这些简单示例所能体现的，这就是为什么关于大多数工具的书籍已经写成了卷帙浩繁。我希望您花时间阅读手册页，在搜索引擎中做一些工作，或者拿起一本书，更多地了解您手头已有的这套有趣的工具。

标签

Linux