为什么你应该避免虚荣指标并衡量重要的指标

5 位读者喜欢这篇文章。
Penguins

互联网档案馆图书图像。CC BY-SA 4.0。

指标。衡量标准。多高?多低?多快?多慢?自从人类文明的曙光出现以来,我们就有一种与生俱来的、永不满足的衡量和比较的欲望。我们从公元前 3 千年的埃及腕尺和地中海商人的谷物开始。今天,我们有了每秒点击次数、点赞数、应用下载量、星级以及无数其他方法来衡量我们所做的事情。公司花费巨额资金开发精美的 KPI 仪表板,并每天(有时甚至每小时)追逐其指针,以寻求衡量其健康状况的最终、持续的指标。这值得吗?这个问题的答案既简单又令人恼火,而且没什么帮助:这取决于情况。

在本专栏中,我将带您踏上社区指标这个充满风险但回报丰厚的世界之旅。我将探索现有的研究、可用的工具、案例研究(好的和坏的),并最终利用我所学到的知识,为您制定一个在创建(或改进)您自己的社区指标时可以参考的行动手册。然后,您可以使用这些指标来了解——或者至少估算——您社区的现状、发展方向,以及(剧透警告!),当方向与您实现社区目标的需求不太一致时该怎么做。

虚荣指标

作为大型开源社区的前社区经理,我非常清楚那些听起来令人印象深刻但最终意义甚微的指标的成瘾性和危险性。大约每年一次,当分析师公司向商业开源供应商发送调查问卷时,我会收到这封电子邮件

收件人:詹姆斯·福克纳 awesome_community_manager@project

发件人:超级忙碌且没时间处理此事的 CxO

主题:更新的指标?嘿,詹姆斯,我们社区的最新统计数据是什么?我正在填写这份分析师请求,需要

- 下载量
- 注册量
- 开发者数量
- 提交次数
- 论坛帖子数量

在压抑我的愤怒和渴望的回应的同时,我会尽职尽责地生成大致对应于上述数字的数字。例如,这是我生成的注册量图表

Metrics graph

2011 年 2 月,我们因注册量明显放缓而受到“批评”。他们说,肯定有什么地方出了问题。他们说,这艘船显然着火了,而社区经理正在掌舵。毫不奇怪,我当月在 LinkedIn 上的活动有所增加。那么发生了什么事?有趣的故事——事实证明,在二月份,我们在注册表单上启用了CAPTCHA,并开始有效地阻止垃圾邮件发送者,从而大幅降低了新的注册人数。几个月后,在分析师报告发布后,垃圾邮件发送者找到了一种绕过 CAPTCHA 的方法,一切都恢复了“正常”。

Photo of road sign

维基百科上MikeGogulski拍摄的照片,CC BY 2.5

这些和其他“一阶”指标属于一类称为虚荣指标的指标,这是一个很棒且准确的术语,描述了它们的肤浅和毫无意义。将它们作为衡量社区健康状况的标准是很诱人的,但脱离背景来看,它们很容易产生误导、被操纵/篡改,甚至被有选择地选择以适应所需的叙述。HBO 电视剧《硅谷》最近的一集每日活跃用户就体现了这一点。在剧中,当公司庆祝其软件平台下载量达到 50 万次时,创始人意识到更准确的成功衡量标准——每日活跃用户——出奇地低,因此他们聘请了一家点击工厂来操纵系统并给投资者留下深刻印象。该计划适得其反,他们最终不得不解决潜在的可用性问题,这给他们(和我们)上了一堂关于虚荣指标的宝贵一课。

无知是福

那么,您应该如何处理虚荣指标呢?如果您想收集、分析并尝试从中得出结论,这没什么问题。我明白,我真的明白。只是要注意您在做什么。(在未来的专栏中,我将探讨指标的各种特征,无论是虚荣指标还是其他指标。)克服对虚荣指标的沉迷是可能的,但这比最初产生它所需的努力要困难得多

如果这就是您所拥有的一切,并且您别无选择,只能向苛刻的高管或过期的分析师问卷报告它们,那就去做吧——但请考虑利用这个机会解释为什么拥有更准确、与业务目标一致的指标从长远来看会更好。然后开始着手制定更好的指标,这些指标可以更准确地讲述您的开源社区的故事,并帮助指导您未来的决策。下个月见!

James Falkner's picture
技术传播者、教师、学习者、作者,致力于开源和开放计算。我在红帽公司担任红帽开源产品组合的技术传播者,热爱我们的工作,并向他人学习,偶尔也会在会议上授课。

5 条评论

具有讽刺意味的是,opensource.com 发布了我所知的最高频率的虚荣指标。每周我都会收到以下统计数据:页面浏览量、来自搜索的页面浏览量、每月页面浏览量(截至目前)、评论、Facebook、Twitter。如果业务是通过 Google Adwords 赚钱,那么像页面浏览量这样的指标可以与业务目标保持一致。但我不认为那是红帽的真正业务。那么你为什么如此在意呢?您是更关心页面浏览量,还是更关心找到高质量的文章呢?请注意,在这些指标中,网站停留时间并不在其中——如果人们花时间阅读文章,这可以粗略衡量质量……回到这篇文章——哪些指标更符合红帽的业务目标?(也许它们确实被收集了,但没有发送到邮件列表。)

嗨,布伦丹,
感谢您的反馈。我假设您说的是作者邮件列表?无论如何,您提出了一个有道理的观点,也是 Opensource.com 编辑团队经常讨论的一个问题。事实上,我们的团队最近观看了詹姆斯关于社区指标的内部培训视频,这就是为什么我们联系他并询问他是否愿意为我们撰写一系列文章的原因。我们有兴趣改进我们收集和分享指标的方式,读者可以和我们一起学习(谢谢,詹姆斯!)

我非常喜欢定性分析,但在报告社区和出版物的健康状况时,定性分析更难报告。定量分析向我们展示了读者点击了哪些文章,但并不能说明全部情况。他们阅读是因为他们喜欢该主题/作者/标题吗?这篇文章是否成为其他出版物可以参考的优秀资源?它是否在我们的网站上引发了对话(评论),或者是否在另一个网站/社区/列表中引发了有趣的辩论?

一篇在一个月内获得 400 次浏览量的文章是否启发了一家公司/学校/组织采用开源工具?如果是这样,我会称之为巨大的成功案例……但我们可能永远不会听说,而且我们肯定无法获得收集此类数据的报告。一篇只有几百次页面浏览量的文章是否为原本会被忽视的开源项目/社区/活动带来了急需的关注?再说一次,这是一篇成功的文章(以我谦逊的意见来看)。

定量分析更容易获得和报告,但通常定性分析更有用。(事实上,我在本周早些时候参加的一个记者圆桌会议上提出了这个话题:https://youtu.be/1sTHTdLaSjM

如果您对我们如何改进作者和读者的报告有其他想法,请随时将建议发送给编辑团队,邮箱为 open@opensource.com 或直接发送给我,邮箱为 rikki@opensource.com

回复 作者:brendang

谢谢里基,我想我现在明白了——这些指标(页面浏览量等)是为作者准备的,因此是作者邮件列表。我猜业务还有另一组指标,这些指标与业务目标保持一致。我把两者混淆了。讨论业务指标会是什么可能会很有趣,作为支持这篇文章的重要指标的示例,但我并不期望这样做,因为我假设这将是保密的。

回复 作者:里基·恩斯利

“衡量什么,改进什么。”约翰·加尔,《系统学》。

换句话说,明智地选择你的指标。

网站停留时间、跳出率、回头客、“堕落天使”(那些曾经访问过但已消失的人)、参与度跟踪(您的读者是否从“壁花”转变为“核心读者”再到“参与评论员”再到“作者”?有多少人晋升了?有多少人降级了?)。这些指标更接近 opensource.com 的目标,即“为关于开源可以产生——并且正在产生——更广泛影响的对话创建一个连接点,甚至超越软件世界”。理想情况下,您可以将开源采用追溯到 Patient 0——组织中的某人阅读并启发他们的文章——但这非常困难(通常通过对读者进行定期调查来近似)。因此,您会尽力使用您拥有的资源尽可能接近理想状态。这肯定比仅仅查看 Google Analytics 更困难……但在我看来,找到更好的一组指标可以让您摆脱广告陷阱,并迫使您专注于实现您的目标。我现在说得有点超前了 :)

知识共享许可协议本作品根据知识共享署名-相同方式共享 4.0 国际许可协议获得许可。
© . All rights reserved.