为什么你应该避免虚荣指标,并衡量重要的事物

5 位读者喜欢这篇文章。
Penguins

Internet Archive Book Image。CC BY-SA 4.0。

指标。衡量标准。多高?多低?多快?多慢?自从人类文明之初,我们就有一种与生俱来的、永不满足的衡量和比较的欲望。我们从公元前3千年的埃及腕尺和地中海商人的谷物开始。今天,我们有每秒点击次数、点赞数、应用下载量、星级,以及无数其他方法来衡量我们所做的事情。公司花费巨额资金开发花哨的 KPI 仪表板,并每天——有时甚至每小时——追逐他们的指标,以寻求衡量其健康状况的终极、持续方法。这值得吗?这个问题的答案既简单又令人恼火,而且没有特别的帮助:视情况而定。

在本专栏中,我将带您踏上社区指标这个充满挑战但又回报丰厚的世界之旅。我将探讨现有的研究、可用的工具、案例研究(好的和坏的),并最终利用我所学到的知识,为您制定一份行动手册,供您在创建(或改进)自己的社区指标时参考。然后,您可以使用这些指标来了解——或至少大致了解——您的社区今天在哪里,它将走向何方,以及(剧透警告!),当方向与您实现社区目标所需的方向不太一致时,该怎么办。

虚荣指标

作为大型开源社区的前社区经理,我非常清楚那些听起来令人印象深刻,但最终意义甚微的指标的成瘾性和危险性。大约每年一次,当分析公司向商业开源供应商发送调查问卷时,我会收到这封电子邮件

收件人:James Falkner awesome_community_manager@project

发件人:非常忙碌且没有时间处理此事的 CxO

主题:更新的指标?嗨 James,我们社区的最新统计数据是什么?我正在填写这份分析师请求,需要

- 下载量
- 注册量
- 开发者数量
- 提交次数
- 论坛帖子数量

尽管压抑着我的愤怒和想要的回应,我还是会尽职尽责地生成大致对应于上述内容的数字。例如,这是我为注册量生成的图表

Metrics graph

在 2011 年 2 月,我们因注册量明显放缓而“受到批评”。他们说,事情非常不对劲。他们说,船显然着火了,而社区经理却在掌舵。毫不奇怪,我当月的 LinkedIn 活动增加了很多。那么发生了什么事?有趣的是——事实证明,在 2 月份,我们在注册表单上启用了 CAPTCHA,并开始非常有效地阻止垃圾邮件发送者,从而大大降低了新的注册数量。几个月后,在分析师报告发布后,垃圾邮件发送者找到了一种绕过 CAPTCHA 的方法,事情又恢复了“正常”。

Photo of road sign

照片由 Wikipedia 上的 MikeGogulski 拍摄,CC BY 2.5

这些和其他“第一级”指标属于一类称为虚荣指标的指标,这是一个很棒且准确的术语,描述了它们的肤浅和毫无意义。将它们作为衡量社区健康状况的标准很诱人,但脱离上下文来看,它们很容易产生误导、被操纵/作弊,甚至被有选择地选择以适应所需的叙述。HBO 电视剧《硅谷》最近的一集每日活跃用户就证明了这一点。在剧中,当公司庆祝其软件平台下载量达到 50 万次时,创始人意识到更准确的成功衡量标准——每日活跃用户——出奇地低,因此他们雇佣了一个点击农场来操纵系统并给投资者留下深刻印象。该计划适得其反,他们最终不得不解决潜在的可用性问题,这给他们(和我们)上了一堂关于虚荣指标的宝贵一课。

无知是福

那么,您应该如何处理虚荣指标呢?如果您想收集、分析并尝试从中得出结论,那也没关系。我明白,我真的明白。只是要注意您在做什么。(在以后的专栏中,我将探讨指标的各种特征,无论是虚荣指标还是其他指标。)克服对虚荣指标的沉迷是可能的,但这比最初生成它所需的努力要困难得多

如果这就是您所拥有的一切,并且您别无选择,只能向要求苛刻的高管或过期的分析师问卷报告它们,那就去做吧——但请考虑利用这个机会解释为什么从长远来看,拥有更准确的、与业务相符的指标会更好。然后开始着手提出更好的指标,这些指标可以更准确地讲述您的开源社区的故事,并帮助指导您未来的决策。下个月见!

James Falkner's picture
技术布道师、教师、学习者、作者,致力于开源和开放计算。我在 Red Hat 担任 Red Hat 开源产品组合的技术布道师,热爱我们的工作和向他人学习,偶尔也会在会议上授课。

5 条评论

具有讽刺意味的是,据我所知,opensource.com 发布虚荣指标的频率是最高的。每周我都会收到以下统计数据:页面浏览量、来自搜索的页面浏览量、每月页面浏览量(截至目前)、评论、Facebook、Twitter。像这些指标——衡量浏览量——如果业务是通过 Google Adwords 赚钱,则可以与业务保持一致。但我不认为这是 Red Hat 的真正业务。那么你为什么这么在意呢?而且您更关心页面浏览量,还是更关心找到高质量的文章?请注意,在这些指标中,不包括网站停留时间——如果人们花时间阅读文章,这可以粗略衡量质量... 回到本文——哪些指标更符合 Red Hat 的业务?(也许他们_确实_收集了,但没有发送到邮件列表。)

嗨 Brendan,
感谢您的反馈。我假设您说的是作者电子邮件列表?无论如何,您提出了一个有效的观点,Opensource.com 编辑团队经常讨论这个问题。事实上,我们的团队最近观看了 James 关于社区指标的内部培训视频,这就是我们联系他并询问他是否愿意为我们撰写一个系列文章的原因。我们有兴趣改进我们收集和分享指标的方式,读者可以和我们一起学习(谢谢,James!)

我是定性分析的忠实粉丝,但当涉及到社区和出版物的健康状况时,定性分析更难报告。定量分析向我们展示了读者点击了哪些文章,但并没有讲述整个故事。他们阅读是因为他们喜欢那个主题/作者/标题吗?这篇文章是否是一个其他出版物可以参考的宝贵资源?它是否在我们网站上引发了对话(评论),或者它是否在另一个网站/社区/列表中引发了一场有趣的辩论?

一篇在一个月内获得 400 次浏览量的文章是否激励一家公司/学校/组织采用开源工具?如果是这样,我会称之为巨大的成功故事……但我们可能永远不会听到,而且我们当然无法获得收集此类数据的报告。一篇只有几百次页面浏览量的文章是否为原本会默默无闻的开源项目/社区/活动带来了急需的关注?再次,这是一篇成功的文章(以我最谦逊的意见来看)。

定量分析更容易获得和报告,但定性分析通常更有用。(事实上,我在本周早些时候参加的一个记者圆桌会议上提出了这个话题:https://youtu.be/1sTHTdLaSjM

如果您对我们如何改进为作者和读者提供的报告有其他想法,请随时将建议发送给编辑团队 open@opensource.com 或直接发送给我 rikki@opensource.com

回复 ,作者是 brendang

谢谢 Rikki,我想我现在明白了——那些指标(页面浏览量等)是为_作者_准备的,因此是作者电子邮件列表。我猜业务还有另一组指标,一旦与业务保持一致。我把两者混淆了。讨论业务指标会是什么可能很有趣,作为支持本文的重要指标的示例,但我并不期望这样做,因为我假设这将是机密的。

回复 ,作者是 Rikki Endsley

“衡量什么,改进什么。”约翰·高尔,《系统论》。

换句话说,明智地选择您的指标。

网站停留时间、跳出率、回头客、“堕落天使”(那些曾经访问过但已消失的人)、参与度跟踪(您的读者是否正在从“壁花”转变为“核心读者”再到“参与评论员”再到“作者”?有多少人上升了?有多少人下降了?)。这些指标更接近 opensource.com 的目标,即“为关于开源可以产生——并且正在产生——的更广泛影响的对话创建一个连接点,甚至超越软件世界”。理想情况下,您可以将开源采用追溯到 0 号病人——组织中的某人阅读并启发他们的文章——但这非常困难(通常通过定期读者调查来近似)。因此,您尝试在现有资源的情况下尽可能接近理想状态。这肯定比仅仅查看谷歌分析更困难……但在我看来,找到更好的一组指标可以让您摆脱广告陷阱,并迫使您专注于实现您的目标。我现在有点超前了 :)

Creative Commons License本作品根据知识共享署名-相同方式共享 4.0 国际许可协议获得许可。
© . All rights reserved.