Hexdump 如何工作

Hexdump 是一个实用程序，以十六进制、十进制、八进制或 ASCII 格式显示二进制文件的内容。它是一个用于检查的实用程序，可用于 数据恢复、逆向工程和编程。

学习基础知识

Hexdump 提供的输出几乎不需要您付出任何努力，并且根据您查看的文件大小，可能会有很多输出。为了本文的目的，创建一个 1x1 PNG 文件。您可以使用图形应用程序（如 GIMP 或 Mtpaint）来完成此操作，或者您可以使用 ImageMagick 在终端中创建它。

这是一个使用 ImageMagick 生成 1x1 像素 PNG 的命令

$ convert -size 1x1 canvas:black pixel.png

您可以使用 file 命令确认此文件是 PNG

$ file pixel.png
pixel.png: PNG image data, 1 x 1, 1-bit grayscale, non-interlaced

您可能想知道 file 命令是如何确定文件类型的。巧合的是，这正是 hexdump 将揭示的内容。现在，您可以在您选择的图像查看器中查看您的单像素图形（它看起来像这样： . ），或者您可以使用 hexdump 查看文件内部的内容

$ hexdump pixel.png
0000000 5089 474e 0a0d 0a1a 0000 0d00 4849 5244
0000010 0000 0100 0000 0100 0001 0000 3700 f96e
0000020 0024 0000 6704 4d41 0041 b100 0b8f 61fc
0000030 0005 0000 6320 5248 004d 7a00 0026 8000
0000040 0084 fa00 0000 8000 00e8 7500 0030 ea00
0000050 0060 3a00 0098 1700 9c70 51ba 003c 0000
0000060 6202 474b 0044 dd01 138a 00a4 0000 7407
0000070 4d49 0745 07e3 081a 3539 a487 46b0 0000
0000080 0a00 4449 5441 d708 6063 0000 0200 0100
0000090 21e2 33bc 0000 2500 4574 7458 6164 6574
00000a0 633a 6572 7461 0065 3032 3931 302d 2d37
00000b0 3532 3254 3a30 3735 353a 2b33 3231 303a
00000c0 ac30 5dcd 00c1 0000 7425 5845 6474 7461
00000d0 3a65 6f6d 6964 7966 3200 3130 2d39 3730
00000e0 322d 5435 3032 353a 3a37 3335 312b 3a32
00000f0 3030 90dd 7de5 0000 0000 4549 444e 42ae
0000100 8260
0000102

您所看到的是样本 PNG 文件的内容，通过您可能从未使用过的镜头。它与您在图像查看器中看到的数据完全相同，但以您可能不熟悉的方式编码。

提取熟悉的字符串

仅仅因为默认数据转储看起来毫无意义，但这并不意味着它没有有价值的信息。您可以使用 --canonical 选项将此输出或至少是实际翻译的部分翻译成更熟悉的字符集

$ hexdump --canonical foo.png 
00000000  89 50 4e 47 0d 0a 1a 0a  00 00 00 0d 49 48 44 52  |.PNG........IHDR|
00000010  00 00 00 01 00 00 00 01  01 00 00 00 00 37 6e f9  |.............7n.|
00000020  24 00 00 00 04 67 41 4d  41 00 00 b1 8f 0b fc 61  |$....gAMA......a|
00000030  05 00 00 00 20 63 48 52  4d 00 00 7a 26 00 00 80  |.... cHRM..z&...|
00000040  84 00 00 fa 00 00 00 80  e8 00 00 75 30 00 00 ea  |...........u0...|
00000050  60 00 00 3a 98 00 00 17  70 9c ba 51 3c 00 00 00  |`..:....p..Q<...|
00000060  02 62 4b 47 44 00 01 dd  8a 13 a4 00 00 00 07 74  |.bKGD..........t|
00000070  49 4d 45 07 e3 07 1a 08  39 35 87 a4 b0 46 00 00  |IME.....95...F..|
00000080  00 0a 49 44 41 54 08 d7  63 60 00 00 00 02 00 01  |..IDAT..c`......|
00000090  e2 21 bc 33 00 00 00 25  74 45 58 74 64 61 74 65  |.!.3...%tEXtdate|
000000a0  3a 63 72 65 61 74 65 00  32 30 31 39 2d 30 37 2d  |:create.2019-07-|
000000b0  32 35 54 32 30 3a 35 37  3a 35 33 2b 31 32 3a 30  |25T20:57:53+12:0|
000000c0  30 ac cd 5d c1 00 00 00  25 74 45 58 74 64 61 74  |0..]....%tEXtdat|
000000d0  65 3a 6d 6f 64 69 66 79  00 32 30 31 39 2d 30 37  |e:modify.2019-07|
000000e0  2d 32 35 54 32 30 3a 35  37 3a 35 33 2b 31 32 3a  |-25T20:57:53+12:|
000000f0  30 30 dd 90 e5 7d 00 00  00 00 49 45 4e 44 ae 42  |00...}....IEND.B|
00000100  60 82                                             |`.|
00000102

在右侧列中，您看到的是与左侧相同的数据，但以 ASCII 格式呈现。如果您仔细观察，您可以挑出一些有用的信息，例如文件格式 (PNG) 以及（在底部附近）文件创建和上次修改的日期和时间。点表示 ASCII 字符集中不存在的符号，这是意料之中的，因为二进制格式不限于普通的字母和数字。

file 命令从前 8 个字节就知道这个文件是什么。 libpng 规范 提醒程序员要注意什么。您可以看到，在这个图像文件的前 8 个字节内，特别是字符串 PNG。这个事实意义重大，因为它揭示了 file 命令如何知道要报告的文件类型。

您还可以控制 hexdump 显示的字节数，这对于大于一个像素的文件很有用

$ hexdump --length 8 pixel.png 
0000000 5089 474e 0a0d 0a1a
0000008

您不必将 hexdump 限制为 PNG 或图形文件。您也可以对您每天运行的二进制文件运行 hexdump，例如 ls、rsync 或您想要检查的任何二进制格式。

使用 hexdump 实现 cat

如果您阅读 PNG 规范，您可能会注意到前 8 个字节中的数据看起来与 hexdump 提供的数据不同。实际上，它是相同的数据，但它是使用不同的转换方式呈现的。因此，hexdump 的输出是正确的，但并非总是对您直接有用，这取决于您要查找的内容。因此，hexdump 具有格式化和转换其转储的原始数据的选项。

转换选项可能变得复杂，因此首先用一些琐碎的东西练习很有用。这是一个温和的介绍，通过重新实现 cat 命令来格式化 hexdump 输出。首先，在文本文件上运行 hexdump 以查看其原始数据。您通常可以在硬盘驱动器上的某个位置找到 GNU 通用公共许可证 (GPL) 许可证的副本，或者您可以使用您手头的任何文本文件。您的输出可能有所不同，但以下是如何在您的系统上找到 GPL 副本（或至少是其中的一部分）的方法

$ find /usr/share/doc/ -type f -name "COPYING" | tail -1
/usr/share/doc/libblkid-devel/COPYING

针对它运行 hexdump

$ hexdump /usr/share/doc/libblkid-devel/COPYING
0000000 6854 7369 6c20 6269 6172 7972 6920 2073
0000010 7266 6565 7320 666f 7774 7261 3b65 7920
0000020 756f 6320 6e61 7220 6465 7369 7274 6269
0000030 7475 2065 7469 6120 646e 6f2f 0a72 6f6d
0000040 6964 7966 6920 2074 6e75 6564 2072 6874
0000050 2065 6574 6d72 2073 666f 7420 6568 4720
0000060 554e 4c20 7365 6573 2072 6547 656e 6172
0000070 206c 7550 6c62 6369 4c0a 6369 6e65 6573
0000080 6120 2073 7570 6c62 7369 6568 2064 7962
[...]

如果文件的输出非常长，请使用 --length （或简写为 -n）使其易于管理。

原始数据可能对您没有任何意义，但您已经知道如何将其转换为 ASCII

hexdump --canonical /usr/share/doc/libblkid-devel/COPYING
00000000  54 68 69 73 20 6c 69 62  72 61 72 79 20 69 73 20  |This library is |
00000010  66 72 65 65 20 73 6f 66  74 77 61 72 65 3b 20 79  |free software; y|
00000020  6f 75 20 63 61 6e 20 72  65 64 69 73 74 72 69 62  |ou can redistrib|
00000030  75 74 65 20 69 74 20 61  6e 64 2f 6f 72 0a 6d 6f  |ute it and/or.mo|
00000040  64 69 66 79 20 69 74 20  75 6e 64 65 72 20 74 68  |dify it under th|
00000050  65 20 74 65 72 6d 73 20  6f 66 20 74 68 65 20 47  |e terms of the G|
00000060  4e 55 20 4c 65 73 73 65  72 20 47 65 6e 65 72 61  |NU Lesser Genera|
00000070  6c 20 50 75 62 6c 69 63  0a 4c 69 63 65 6e 73 65  |l Public.License|
[...]

该输出很有帮助，但笨拙且难以阅读。要将 hexdump 的输出格式化到超出其自身选项提供的范围，请使用 --format （或 -e）以及专门的格式代码。用于格式化的速记类似于 printf 命令使用的速记，因此如果您熟悉 printf 语句，您可能会发现 hexdump 格式化更容易学习。

在 hexdump 中，字符序列 %_p 告诉 hexdump 以您系统的默认字符集打印字符。 --format 选项的所有格式表示法都必须用单引号括起来

$ hexdump -e'"%_p"' /usr/share/doc/libblkid-devel/COPYING
This library is fre*
 software; you can redistribute it and/or.modify it under the terms of the GNU Les*
er General Public.License as published by the Fre*
 Software Foundation; either.version 2.1 of the License, or (at your option) any later.version..*
The complete text of the license is available in the..*
/Documentation/licenses/COPYING.LGPL-2.1-or-later file..

此输出更好，但仍然不方便阅读。传统上，UNIX 文本文件假定为 80 个字符的输出宽度（因为很久以前，显示器往往只能容纳 80 个字符）。

虽然此输出不受格式的约束，但您可以使用其他选项强制 hexdump 一次处理 80 个字节。具体来说，通过将 80 除以 1，您可以告诉 hexdump 将 80 个字节视为一个单元

$ hexdump -e'80/1 "%_p"' /usr/share/doc/libblkid-devel/COPYING
This library is free software; you can redistribute it and/or.modify it under the terms of the GNU Lesser General Public.License as published by the Free Software Foundation; either.version 2.1 of the License, or (at your option) any later.version...The complete text of the license is available in the.../Documentation/licenses/COPYING.LGPL-2.1-or-later file..

现在文件以 80 字节的块处理，但它失去了任何换行符的意义。您可以使用 \n 字符添加自己的换行符，在 UNIX 中，\n 表示换行符

$ hexdump -e'80/1 "%_p""\n"'
This library is free software; you can redistribute it and/or.modify it under th
e terms of the GNU Lesser General Public.License as published by the Free Softwa
re Foundation; either.version 2.1 of the License, or (at your option) any later.
version...The complete text of the license is available in the.../Documentation/
licenses/COPYING.LGPL-2.1-or-later file..

您现在已经（大致）使用 hexdump 格式实现了 cat 命令。

控制输出

实际上，格式化是使 hexdump 有用的方法。既然您至少原则上熟悉了 hexdump 格式化，您就可以使 hexdump -n 8 的输出与官方 libpng 规范描述的 PNG 标头输出匹配。

首先，您知道您希望 hexdump 以 8 字节的块处理 PNG 文件。此外，您可能通过整数识别知道 PNG 规范以十进制记录，根据 hexdump 文档，十进制由 %d 表示

$ hexdump -n8 -e'8/1 "%d""\n"' pixel.png
13780787113102610

您可以通过在每个整数后添加一个空格来使输出完美

$ hexdump -n8 -e'8/1 "%d ""\n"' pixel.png
137 80 78 71 13 10 26 10

现在输出与 PNG 规范完全匹配。

为了乐趣和利益而 Hexdumping

Hexdump 是一个引人入胜的工具，它不仅可以教您更多关于计算机如何处理和转换信息，还可以教您更多关于文件格式和编译后的二进制文件如何工作。您应该尝试在您工作的一天中随机对文件运行 hexdump。您永远不知道可能会找到哪种信息，也不知道何时拥有这种洞察力可能会有用。