在本文中，Ciarrai Cunneen 和我将以 GNOME 设置应用程序的早期重新设计为例，介绍如何进行纸质可用性测试。更新后的设置功能在 GNOME 3.26 中推出，该版本于 9 月 13 日发布。
在编写开源软件时，我们常常痴迷于使我们的逻辑优雅简洁，想出巧妙的方法来执行任务和演示想法。但我们有时会忘记一个关键事实：如果软件不易使用，那就毫无用处。
为了确保我们的程序能够被目标受众使用，我们需要进行可用性测试。可用性基本上是在问这样一个问题：“人们可以轻松地使用这个东西吗？”或者“真实用户可以在合理的时间内使用该软件完成实际任务吗？” 可用性对于构建任何基于用户的产品的创造过程至关重要。如果真实用户无法使用我们的软件，那么创建它的所有辛勤工作都将毫无意义。
可用性测试让我们了解人们在使用软件时遇到的困难以及他们觉得容易的地方。通过在整个开发生命周期中重复进行可用性测试——创建设计、测试、调整设计，然后再次测试——开发人员可以快速迭代到一个对每个人都有效的设计。
可用性测试不需要大量的精力，也不需要任何特定的专业知识，就能产生有用的结果。正如我的经验表明，任何人只需稍作准备就可以进行可用性测试。
可用性测试的方法
您可以通过多种方式测试软件；可用性测试没有“唯一正确的方法”。例如，如果您已经开发了用户界面 (UI)，那么传统的、基于软件的可用性测试可能最有用。但是，如果您正在查看新设计并想了解用户是否会喜欢它，则可以使用纸质原型进行可用性测试，并要求测试人员像响应软件中的特定任务一样演练界面。
这就是我们在想要评估 GNOME 设置应用程序的拟议重新设计时所做的事情。
您可能熟悉 GNOME，它是 Linux 系统最流行的图形桌面之一。GNOME 项目正在努力改进桌面体验，使 GNOME 更易于新用户和经验丰富的用户使用。
2016 年初，GNOME 决定对其设置应用程序进行重大 UI 更新。这种视觉刷新从基于图标的菜单转变为下拉列表，并对几个单独的设置面板进行了重要更改。GNOME 设计团队希望测试这些早期设计更改，以了解真实用户可以多轻松地浏览新的 GNOME 设置应用程序。以前，GNOME 依赖于传统的可用性测试，用户直接探索软件的 UI。但这行不通，因为软件更新尚未完成。
通过 2016 年夏季的 Outreachy 实习项目，我与 GNOME 设计团队合作，检查 GNOME 的可用性。Outreachy 帮助来自代表性不足群体的人参与到自由和开源软件中。来自 GNOME 设计团队的 Jim Hall、Allan Day 和 Jakub Steiner 指导我进行测试设计和分析。
纸质原型测试
我对新的 GNOME 设置菜单进行了纸质原型测试，共有 10 名测试参与者，代表了不同的性别（男性、女性和非二元性别）和年龄（20 至 40 岁之间）。每位测试人员都声称每天上网，只有三位测试人员以前使用过 GNOME。
opensource.com
opensource.com
opensource.com
可用性测试使用了新设计的纸质模型。该模型包括两张拟议的新 GNOME 设置应用程序面板的打印图像和一张 WiFi 面板的打印图像。要求测试人员选择代表他们完成任务的首选设置。
纸质模型代表了设置应用程序设计更新的外观，包括完整的下拉菜单以及设备和详细信息子菜单。我剪掉了子菜单，并在参与者从设置菜单中选择设备或详细信息以完成任务之前将其隐藏起来。
opensource.com
opensource.com
opensource.com
在我的测试中，我向每位测试人员展示了 23 个任务，并要求他们回答他们完成每个任务的首选菜单选项。每个“情景任务”都提供了一个简短的背景，然后要求测试人员做一些具体的事情。例如，一个情景任务询问测试人员将如何将笔记本电脑连接到第二台显示器
“您在办公室，想用投影仪展示工作演示文稿。您首先会尝试哪个设置将笔记本电脑连接到投影仪？”
大多数测试人员在一分钟内做出了决定，这似乎与大多数用户实际使用软件的方式一致。大多数真实用户在寻找选项时不会考虑太多；他们会做出最佳选择来访问该功能。如果他们找不到他们正在寻找的功能，用户可能会感到恼火，但他们通常会四处点击以找到他们想要的功能。
分析结果
热图是总结可用性测试结果的一种简单方法。这个彩色网格表示每一列中的一位测试人员，每一行中的一个情景任务。第一列用几个关键词描述每个任务。随后的 10 列表示每位测试人员的回答，根据准确性进行颜色编码：绿色表示正确回答，红色表示错误回答，橙色表示选择了正确的设备或详细信息，但子菜单选择不正确。最右边的列显示每个任务的正确答案。
opensource.com
查看热图，您可以轻松发现有很多绿色的“冷”行；这些表明测试人员发现这些任务很容易完成。您还可以看到几行有橙色和红色的“热”行，即测试人员遇到困难的任务。
热图提供了可用性测试结果的快速概览，并且是快速发现问题区域的一种方法。但是，要更深入地解释结果，我们需要比热图更深入地挖掘。回顾我在观察测试人员时捕捉到的笔记，我们可以揭示可用性测试期间发生了什么，以及测试人员为何做出如此反应。让我们检查几个效果良好的任务和其他更困难的任务。
效果良好的方面
我认为值得注意的是，“简单”任务的数量是“困难”任务的两倍，因此新的 GNOME 设置菜单表现良好。以下是一些对测试人员来说很容易的关键任务
“1. 您在笔记本电脑上设置了一个闹钟。现在您想确保闹钟声音足够大，以便在房间对面也能听到。您会在设置应用程序中的哪个位置查找以更改闹钟的音量？”
闹钟音量设置位于设置中的声音面板中。对于除一名参与者之外的所有人来说，这都是一项简单的任务。测试人员表示，这是一个容易的选择，因为闹钟有声音，如果您想调整声音，那么声音面板是最明显的选择。那位做错此任务的测试人员认为闹钟是一种通知，并认为相关的调整将在通知面板中。
“9. 您要出城一周，并让一位朋友为您照看房子。她想在您离开期间使用您的台式电脑，您很乐意答应。您朋友的母语是西班牙语，而您的母语是英语。您认为将您的计算机设置为西班牙语对她来说会更好，这样她可以更有效率地使用它。您会在哪里查找以将语言切换为西班牙语？”
所有参与者都知道在区域和语言面板中更改桌面语言。这是唯一提到语言的选项，对每个人来说似乎都是明确的选择。
“11. 几分钟后，您将参加一个两小时的讲座。您想在讲座期间在笔记本电脑上做笔记。您会在设置中的哪个位置查看剩余电量，以便知道是否必须跑到车上并在讲座开始前取回充电器？”
所有测试人员都知道在电源面板下查找有关笔记本电脑电池寿命的信息。测试人员表示，这似乎与他们在其他操作系统上使用笔记本电脑电源设置的经验相似。
“15. 您刚刚购买了一台新打印机。您首先会选择哪个设置来通过 WiFi 将新打印机连接到您的计算机？”
每位测试人员都成功地将设备识别为单击以设置打印机的首选位置，然后将打印机识别为正确的子菜单选项。这很有趣，因为测试人员并非总是选择设备作为其他硬件问题最可能的设置。要么所有测试人员都至少在提出此问题之前查看过设备面板，并记住了打印机是一个子选项，要么他们很容易将打印机与设备关联起来。
总的来说，我认为当新的设置菜单反映其他操作系统的组织结构时，测试人员的表现良好。电池寿命任务就是一个很好的例子。大多数（如果不是全部）测试人员都熟悉检查剩余电量，因为这是笔记本电脑用户常做的事情。测试人员表示，他们通常会将“电源”与自己系统上的电池电量相关联，因此这项任务对所有人来说都很容易也就不足为奇了；每个人都在几秒钟内对这项任务做出了回应。
效果不佳的方面
当我们学习新界面时，很少能第一次就弄清楚，这解释了一些不正确的测试答案。可用性测试的诀窍是将这些预期错误与表明软件不足之处的模式区分开来。以下两个任务属于后一类
“6. 您正在处理几个设计项目，并想调整显示器处理颜色的方式，以便不会损失任何图像质量。您首先会尝试哪个设置来更改默认颜色？”
没有一位测试人员知道如何在 GNOME 中更新颜色配置文件。我认为这与所有参与者以前都未尝试在任何操作系统上完成类似任务有关。这项任务有点晦涩难懂，没有一位参与者将颜色与详细信息菜单选项相关联。
“14. 您发现您不喜欢系统屏幕锁定前只有 5 分钟的空闲时间。您会在设置中的哪个位置首先调整等待时间从 5 分钟到 10 分钟？”
没有一位参与者成功地将隐私识别为更改锁屏等待时间的方式。许多测试人员选择了电源面板，并解释说他们认为锁屏是一种节能机制。我认为这是因为在其他操作系统上，屏幕调光器与屏幕锁定的时间相同。
以下任务的难度稍低
“3. 您希望将您的 Thunderbird 帐户设置为每次 GNOME 被要求打开电子邮件客户端时打开的电子邮件。您会尝试哪个设置来使 Thunderbird 成为您的官方电子邮件？”
几位测试人员认为他们会在在线帐户中设置他们的电子邮件客户端。他们的一般理由是电子邮件帐户符合在线帐户的条件。我认为，如果他们看到详细信息中的默认应用程序子菜单而无需打开新面板，一些测试人员会选择它作为正确答案。尽管如此，我仍然可以理解为什么这些测试人员对可以在在线帐户面板中采取哪种类型的操作感到困惑。即使情景任务询问的是电子邮件客户端而不是电子邮件帐户，许多用户仍将电子邮件帐户视为重要部分，因此在线帐户似乎是更好的选择。
“5. 您即将观看电脑上的电影。内部声音太小，因此您拿出一个蓝牙扬声器。您会在设置应用程序中的哪个位置连接扬声器到您的计算机？”
许多测试人员没有将蓝牙面板与连接使用蓝牙标准的扬声器的任务联系起来。一些测试人员不知道“蓝牙”是什么意思。其他人只是在菜单中没有看到它。
“16. 您将在国外居住几个月，该国家/地区的时间比您所在的时区提前 6 小时。您会在设置中的哪个位置调整时区以反映您的新位置？”
许多测试人员选择了区域和语言来更改他们的时区；这样做的人表示他们将时区与区域相关联。似乎没有其他选项可以解决用户的位置问题，因此他们选择了区域。
“17. 您正在电脑上听音乐。同时，您正在 torrent 下载大量文件。您不希望每次文件成功下载时通知声音都打断您的音乐。您首先会尝试哪个设置来使通知音量静音？”
未选择声音作为调整文件下载警报音量位置的测试人员认为通知将是首选位置，因为他们将通知视为与系统消息相关的任何任务的正确位置。
“22. 您在办公室尝试完成工作。WiFi 今天已经断了三次，您对等待感到沮丧。您已插入并设置了以太网电缆；您首先会在网络设置中的哪个面板中尝试从 WiFi 切换到以太网？”
几位测试人员在弄清楚在哪里切换到以太网连接时遇到了麻烦。在那些做错的人中，大多数人认为这将是以太网子面板的一部分。一些测试人员没有处理过以太网电缆，也不知道在哪里查找，尽管每个人都熟悉以太网连接的概念。
总的来说，测试人员在处理似乎不熟悉的任务时遇到了麻烦。例如，从未将计算机连接到投影仪的测试人员提到，他们在选择设置时只是有点像在黑暗中摸索。这是测试过程中不幸的一部分。很难预测涵盖您要测试的设置范围的任务，但也要足够简单和熟悉，以适合所有测试人员。
您自己的可用性测试的要点
正如这种经验所表明的那样，可用性测试很简单。任何人都可以做到！令人惊讶的是，仅仅通过观察几个测试人员使用您的软件，即使他们只是使用纸质原型来响应示例任务，您也可以学到很多东西。
您可以轻松地将可用性测试应用于您自己的项目。首先查看谁在使用您的软件，并考虑他们为什么使用它。从这组假设开始，记下一些示例任务，这些任务代表您的用户在现实世界的情况下可能如何使用该软件。这些是您的可用性测试的情景任务。然后邀请几个人与您坐下来进行可用性测试。要求每位测试人员一次执行一个情景任务。观察他们，并记下他们所做和所说的话。只需少数志愿者，您就可以快速了解界面的哪些区域运行良好，以及程序的哪些部分需要更多的工作。
以下是我在测试中学到的一些通用经验，可能对您的可用性测试有所帮助。
- 要求测试人员在进行测试时“大声思考”，以便您可以听到他们的理由。在我的纸质原型测试中，我使用开放式问题（例如“X 设置让您想到什么？”而不是“您为什么选择 X？”）询问测试人员选择的原因。许多测试人员一旦开始测试就忘记了，不得不被提示大声说出来。
- 考虑在执行可用性测试之前向测试人员展示当前环境（如果存在）。我认为让测试人员在开始可用性测试之前了解全局情况会很好。例如，这对于问题 #7 会有所帮助：“您希望能够从 GNOME Shell 搜索访问照片。您首先会尝试哪个设置来查看照片是否可以在搜索中编入索引？” 我不得不向几位用户解释 GNOME 中的 Shell 搜索是如何发生的。在测试之前向他们展示这一点会更容易。
- 让测试人员提前预览材料。我注意到并非所有测试人员都在测试开始前通读菜单项，因此当他们需要某些设置面板选项时，他们未能注意到。有时他们在几个问题之后才注意到某个面板，而该面板本来可以对他们有用。
最重要的是，可用性测试的关键是迭代进行。创建您的设计，测试它，根据反馈更新您的设计，然后再次测试它。不断重复，直到您达到一个平台期，在该平台期，更多更改似乎不会进一步提高程序的可用性。在每次迭代中，您的程序都会变得更易于使用，最终您将得到任何人都可以使用的软件。
Ciarrai Cunneen 也为本文做出了贡献。Ciarrai 参加了 2016 年的 Outreachy 实习计划，为 GNOME 进行了可用性测试。他们对开源开发、数字安全和未来主义充满热情。
评论已关闭。