为你的项目选择正确的指标

4 位读者喜欢这篇文章。
sticky notes making a palm tree on an island

Opensource.com

上个月我们讨论了为你的社区指标计划设定目标。这些目标不断提醒你希望在该计划中实现什么,并且在决定具体要衡量什么时,应该将这些目标本身用作指标。

本月,我们将记录一个基本的策略,用于决定要衡量什么,并给出我们在实践中使用过的具体社区指标的示例。利用我们对社区的了解和之前提出的目标,我们将确保我们选择的指标是相关的。

指标的类型

用于报告社区的指标主要有两种类型:定性指标和定量指标。定性指标是使用口头或书面文字来传达反馈的指标,例如在线调查、正式的可用性测试或面对面的讨论。这些可以捕获结构化和非结构化数据,如果长期跟踪,可以为衡量实现目标的进展情况提供有价值的依据。定性指标最适合衡量诸如“API 文档对你的项目是否足够有效?”或“你认为社区在未来 6-12 个月内应该关注什么?”之类的事情。答案可以帮助你了解社区的脉搏以及需要做出的更改(如果有)。选择好的问题可能很困难,因为很容易意外地引入偏差,提出你没有计划采取行动的问题,或者答案与你的目标无关的问题。调查也需要花费大量精力,因此我们很少使用调查(大约每年一次),主要用于询问“我们应该关注什么”类型的问题。

定性指标与定量指标

调查和研究非常棒,但需要持续的投入,而定量指标的收集和处理通常可以自动化,并且在设置的前期成本之后可以提供长期且持续的收益。从指标计划中最大程度地减少(如果不是消除)人类的情感和错误,这对我们行业中技术导向的人们非常有吸引力。《精益分析》的合著者 Ben Yoskovitz 这样说:“定量数据厌恶情感;定性数据沉浸其中。”

大多数现代开源社区都可以轻松获得基本的定量指标——我们日常运营使用的在线工具提供了获取有关发生的活动的、历史和有时是实时指标的简便方法。我们将更详细地探讨这一点,并向你展示与我们社区目标相关的几个具体指标。

一级指标

看看你的社区成员的典型工作流程。他们使用哪些工具,他们如何使用这些工具,以及你可以从中提取哪些统计数据?通常你可以访问基本知识,我称之为一级指标。这些指标很容易获得,但它们很少能单独讲述完整的故事。规范的例子是人数统计(又名,注册用户数)。如果这个数字在增加,这是一件好事吗?也许是,也许不是。这可能意味着你最近实施的吸引社区成员的想法正在奏效。但也可能意味着你的注册表单被自动垃圾邮件发送者入侵了。对于我们之前讨论过的几个其他一级指标,也可以这样说。Dave Neary(红帽同事和社区建设者)对指标出错时有更多话要说。

在 Liferay,我们的目标之一是提高社区参与的价值,而像这样的指标并没有表明社区成员有任何真正的价值。因此,我们不得不深入挖掘。

二级指标

社区参与有价值意味着什么?这意味着社区成员从他们的参与中获得了一些有价值的东西。每个社区都是不同的,但是Liferay 调查的结果表明,我们的社区成员最重视分享、学习和回馈。因此,我们提出了一套二级指标,我们认为这些指标表明了价值(或帮助我们实现了其他目标)。这些指标是从对我们的一级指标进行后处理和转换得出的,因此从易于获得、难以解释的一级数据到我们期望的指标,并不是一项巨大的技术壮举。以下是我们使用的一部分指标示例,以及它们与我们目标的相关性

  • 公司成员与非公司成员的数量:在邪恶的公司和有干劲的独立开发者之间保持健康的多元化,带来了更多真实世界的经验(因此也更有价值)
  • 代码贡献到代码库提交的时间
  • 错误报告到错误在代码库中被修复的时间
  • 初始论坛帖子到第一次回复/回答的时间
    • 以上三个相关指标都跟踪了价值的各个方面:如果你做出贡献,但它被忽略了,那么你会发现价值较低,并可能去其他地方。我们在这里拥有的越多,我们就对结果越有信心。
  • 社区成员的地理位置:能够看到区域业务决策的结果
  • 贡献者年龄随时间的演变:使知识和经验从老前辈不断流向后起之秀,意味着社区中始终有一个最新的知识库(价值)。
  • 被忽略/未回复的消息数量:对于新来者来说,获得第一次回复非常重要,即使回复不是他们想要的答案。
  • 提交在代码的功能区域中的分布与演变:这使我们能够根据 Liferay 的哪些领域发展最快来做出未来的业务决策。

在提出这些和其他指标之后,花费了大约 4-6 个月的时间来实现从我们自己的论坛、博客和特殊项目,以及 JIRA、GitHub、IRC、Stack Overflow 和其他一些来源提取、组合和使用数据的机制。这些指标使我们能够更准确地衡量社区价值和与之相关的业务绩效。你可以想象,在使用这种分散的数据源集合时,存在很多挑战,例如身份和公司的规范化、删除重复项、过滤垃圾邮件等等。

在本系列的下一篇文章中,我将介绍工具和技术细节,以及我们在实践中使用它们取得的成果。稍后,我们将介绍使某些指标优于其他指标的具体特征——例如它们的准确性、与其他指标的关系以及领先/滞后指标——以及你如何使用这些特征来随着时间的推移微调你的指标。

我希望这能让你了解我们是如何选择指标的,以及你如何选择更好的指标来更准确地跟踪你的社区健康状况。下个月见!

James Falkner's picture
技术布道师、教师、学习者、作者,致力于开源和开放计算。我在红帽公司担任红帽开源产品组合的技术布道师,热爱我们的工作,并乐于向他人学习,偶尔也在会议上授课。

评论已关闭。

© . All rights reserved.