为什么你应该避免虚荣指标并衡量重要的事情

5 位读者喜欢这篇文章。
Penguins

Internet Archive Book Image。CC BY-SA 4.0。

指标。衡量标准。多高?多低?多快?多慢?自从人类文明的曙光出现以来,我们就有一种与生俱来的、永不满足的衡量和比较的渴望。我们从公元前 3 千年的埃及肘尺和地中海商人的谷物开始。今天,我们有了每秒点击次数、点赞数、应用程序下载量、星级以及无数其他方法来衡量我们所做的事情。公司花费巨额资金开发精美的 KPI 仪表板,并每天(有时甚至每小时)追逐其指标,以寻求对其健康状况的最终、持续衡量。这值得吗?这个问题的答案既简单又令人恼火,而且没有特别的帮助:这取决于情况。

在本专栏中,我将带您踏上社区指标这个充满风险但回报丰厚的世界之旅。我将探讨现有的研究、可用的工具、案例研究(好的和坏的),并最终利用我所学到的知识,为您制定一个在创建(或改进)您自己的社区指标时可以参考的行动手册。然后,您可以使用这些指标来了解——或至少估算——您社区的现状、未来的发展方向,以及(剧透警告!),当方向不太符合您实现社区目标的需求时,该怎么做。

虚荣指标

作为大型开源社区的前社区经理,我非常清楚那些听起来令人印象深刻但最终意义甚微的指标的成瘾性和危险性。大约每年一次,当分析公司向商业开源供应商发送问卷时,我都会收到这封电子邮件

收件人:James Falkner awesome_community_manager@project

发件人:CxO 超级忙碌且没有时间处理此事

主题:更新的指标?嘿 James,我们社区的最新统计数据是什么?我正在填写这份分析师请求,需要

- 下载量
- 注册量
- 开发者数量
- 提交次数
- 论坛帖子数量

在压抑我的愤怒和想要的回应的同时,我会尽职尽责地生成大致与上述数字相对应的数字。例如,这是我生成的注册量图表

Metrics graph

在 2011 年 2 月,我们因注册量明显放缓而“受到批评”。他们说,情况显然非常糟糕。他们说,这艘船显然着火了,而社区经理正在掌舵。毫不奇怪,我当月在 LinkedIn 上的活动增加了很多。那么发生了什么?有趣的故事——事实证明,在 2 月份,我们在注册表单上启用了 CAPTCHA,并开始有效地阻止垃圾邮件发送者,从而大幅降低了新的注册量。几个月后,在分析师报告发布后,垃圾邮件发送者找到了绕过 CAPTCHA 的方法,一切恢复了“正常”。

Photo of road sign

照片由 MikeGogulski 拍摄,来自维基百科,CC BY 2.5

这些和其他“一阶”指标属于一类称为虚荣指标的指标,这是一个很棒且准确的术语,描述了它们的肤浅性和毫无意义。依赖它们作为衡量社区健康状况的标准是很诱人的,但脱离上下文来看,它们很容易具有误导性、被操纵/篡改,甚至被有选择地选择以适应所需的叙述。HBO 的硅谷最近一集每日活跃用户就体现了这一点。在节目中,当公司庆祝其软件平台下载量达到 50 万次时,创始人意识到更准确的成功衡量标准——每日活跃用户——却出奇地低,因此他们雇佣了一家点击农场来操纵系统并给投资者留下深刻印象。该计划适得其反,他们最终不得不解决潜在的可用性问题,这教会了他们(和我们)关于虚荣指标的宝贵一课。

无知是福

那么,您应该如何处理虚荣指标呢?如果您想收集、分析并尝试从中得出结论,那也没关系。我明白了,我真的明白。只是要注意您在做什么。(我将在以后的专栏中探讨指标的各种特征,无论是虚荣的还是其他的。)克服对虚荣指标的沉迷是可能的,但这比最初生成它所需的努力要困难得多

如果这就是您所拥有的一切,并且您别无选择,只能向要求苛刻的高管或逾期的分析师问卷报告它们,那就去做吧——但请考虑利用这个机会解释为什么从长远来看,拥有更准确的、与业务相符的指标会更好。然后开始努力提出更好的指标,这些指标可以更准确地讲述您的开源社区的故事,并帮助指导您未来的决策。下个月见!

James Falkner's picture
技术布道师、教师、学习者、作者,致力于开源和开放计算。我在红帽公司担任红帽开源产品组合的技术布道师,热爱我们的工作,并向他人学习,偶尔也会在会议上授课。

5 条评论

具有讽刺意味的是,opensource.com 以我所知的最高频率发布最多的虚荣指标。每周我都会收到以下统计数据:页面浏览量、来自搜索的页面浏览量、每月页面浏览量(截至今日)、评论、Facebook、Twitter。像页面浏览量这样的指标可以与业务保持一致,如果业务是通过 Google Adwords 赚钱的话。但我不认为那是红帽的真正业务。那么你们为什么如此在意呢?而且,您是否更关心页面浏览量,而不是寻找高质量的文章?请注意,在这些指标中,不包括网站停留时间——如果人们花时间阅读文章,这将是对质量的粗略衡量...回到本文——哪些指标更符合红帽的业务?(也许它们收集了,但没有发送到邮件列表。)

嗨 Brendan,
感谢您的反馈。我假设您说的是作者电子邮件列表?无论如何,您提出了一个有效的观点,也是 Opensource.com 编辑团队经常讨论的一个问题。事实上,我们的团队最近观看了 James 针对社区指标进行的内部培训视频,这就是为什么我们联系他并询问他是否愿意为我们撰写一系列文章。我们有兴趣改进我们收集和分享指标的方式,读者可以和我们一起学习(谢谢,James!)

我非常喜欢定性分析,但在报告社区和出版物的健康状况时,定性分析更难报告。定量分析向我们展示了读者点击了哪些文章,但并没有讲述整个故事。他们阅读它是因为他们喜欢那个主题/作者/标题吗?这篇文章是否是其他出版物可以参考的重要资源?它是否在我们的网站(评论)上引发了对话,或者是否在另一个网站/社区/列表上引发了有趣的辩论?

一篇在一个月内获得 400 次浏览量的文章是否启发了一家公司/学校/组织采用开源工具?如果是这样,我会称之为巨大的成功故事……但我们可能永远不会听到它,而且我们当然无法获得收集此类数据的报告。一篇只有几百次页面浏览量的文章是否为原本会默默无闻的开源项目/社区/活动带来了急需的关注?再说一次,一篇成功的文章(以我最谦虚的观点来看)。

定量分析更容易获得和报告,但通常定性分析更有用。(事实上,我在本周早些时候参加的一个记者圆桌会议上提出了这个话题:https://youtu.be/1sTHTdLaSjM

如果您对我们如何改进为作者和读者提供的报告有其他想法,请随时将建议发送给编辑团队,邮箱地址为 open@opensource.com 或直接发送给我,邮箱地址为 rikki@opensource.com

回复 作者:brendang

谢谢 Rikki,我想我现在明白了——这些指标(页面浏览量等)是为作者准备的,因此是作者电子邮件列表。我猜业务有另一套指标,与业务保持一致的指标。我把两者混淆了。讨论业务指标会是什么,作为支持本文的重要指标的一个例子,可能会很有趣,但我并不期望这样做,因为我认为这会是机密的。

回复 作者:Rikki Endsley

“衡量什么,改进什么。” John Gall,《系统论》。

换句话说,明智地选择您的指标。

网站停留时间、跳出率、回头客、“堕落天使”(那些曾经访问过但已经消失的人)、参与度跟踪(您的读者是否从“壁花”转变为“核心读者”再到“参与评论员”再到“作者”?有多少人晋升了?有多少人降级了?)。这些更接近 opensource.com 的目标,即“为就开源可以产生——并且正在产生——的更广泛影响(甚至超越软件世界)的对话创建一个连接点”。理想情况下,您可以将开源采用追溯到 patient 0——组织中的某人阅读并启发他们的文章——但这非常困难(通常通过定期读者调查来近似)。因此,您尝试在您拥有的资源范围内尽可能接近理想状态。这肯定比仅仅查看 Google Analytics 更困难……但在我看来,找到更好的一组指标可以让您摆脱广告陷阱,并迫使您专注于实现您的目标。我现在有点超前了 :)

知识共享许可协议本作品根据知识共享署名-相同方式共享 4.0 国际许可协议获得许可。
© . All rights reserved.