Apache Kafka 如何驱动实时数据革命

财富 500 强公司中有 35% 使用 Apache Kafka。
394 位读者喜欢这篇文章。
Rocket

Steve Jurvetson via Flickr (CC-BY-2.0)

两年前,Neha Narkhede 共同创立了一家名为 Confluent 的公司,以在她团队的 Apache Kafka 工作基础上继续发展。 在这次采访中,我们讨论了许多公司如何部署 Kafka,以及这如何导致一个非常繁忙的 GitHub 仓库

Narkhede 将在下周于北卡罗来纳州罗利市举行的 All Things Open 大会上发表主题演讲。

离开 LinkedIn 创办自己的公司感觉如何?

这是一次很棒的体验,也是我和我的联合创始人过去几年一直在努力完成的使命的自然延伸——将 Apache Kafka 以及我们对围绕流数据构建的公司数据架构新未来的愿景带到前沿。

今天,财富 500 强公司中有 35% 以及全球数千家公司都在使用 Kafka。 Confluent 有着巨大的机会可以帮助公司利用流数据进行关键任务应用程序,获得洞察力以在几秒钟而不是几小时内推动关键业务决策,实时响应影响业务连续性的关键事件,并在大大简化其数据架构的运营足迹的同时做到这一点。

您会对开始一家开源公司的人提供什么建议?

在建立公司时,有几件事需要考虑,但对于建立一家基于开源技术的成功公司而言,尤其关键的是宣传、社区影响力、商业模式以及在这些领域之间平衡投资的实用主义。 开源技术极大地简化了新技术的使用问题,并使开发人员能够使用适合构建产品的技术。 本质上,开发人员是新的买家。

Apache Kafka 已被誉为 GitHub 上冉冉升起的新星。 您认为它为何如此成功?

Apache Kafka 之所以取得成功有很多原因,但主要原因之一是它为所有公司都存在的问题提供了最佳解决方案:实时处理数据。 Apache Kafka 是一个分布式流平台,用于构建实时数据管道和流应用程序。 它是水平可扩展的、容错的、速度极快的,并且在数千家公司中投入生产。 Kafka 成功的另一个重要原因是其不断壮大且蓬勃发展的社区。 最后但并非最不重要的一点是,Kafka 之所以非常受欢迎,是因为它确实有效。

您的贡献者来自哪里? 维持一个快乐、健康的贡献者群体的最重要因素是什么?

Apache Kafka 贡献者来自各种各样的公司,仅仅是因为 Kafka 适用于并被金融服务、零售、消费者技术到企业技术等各种行业的公司所采用。 从第一天起,我们就一直专注于建立一个协作且参与的社区。 作为 PMC 的成员,我与其他贡献者一起,旨在通过与社区公开讨论有关项目方向的重大和次要决策,来培养一种协作式工程方法。

您能告诉我们一个您发现 Kafka 被采用的有趣或令人惊讶的地方吗?

在 2016 年 Kafka 峰会上,我们听取了 Uber、Netflix、Dropbox、HomeAway、Goldman Sachs 等公司的介绍,他们都在使用 Apache Kafka 实时做出业务决策。 我最喜欢的用例之一是 Uber:他们使用 Kafka 来管理所有的动态定价,这是一个成功的流处理应用程序的绝佳示例。

另一个很好的例子是 Comcast。 他们正在采用 Comcast 的技术和产品集团的大规模、异构数据收集系统,并集中在一个围绕 Kafka 构建的单一平台上。 这些数据收集系统用于从业务分析到近乎实时的运营,再到管理层报告等所有方面。

实际上,企业可以通过许多不同的方式使用 Confluent 和 Apache Kafka。 它的多功能性是它变得如此受欢迎的另一个原因——它可以应用于无数不同的实时数据需求。

Kafka *没有*做什么您希望它做的? 该项目的下一步是什么?

随着时间的推移,Kafka 可以做的事情的范围已经从一个消息传递系统发展到今天的样子:一个成熟的分布式流平台。 它可以像消息传递系统一样为流数据启用发布-订阅,高效且实时地处理数据流,并将流数据安全地存储在分布式复制集群中。

越来越多地,Kafka 被用于关键任务应用程序中,这些应用程序需要 Kafka 提供更强的类似数据库的保证。 因此,我很高兴在 Kafka 中引入精确一次的保证和事务消息传递功能。 它将向更大的用户群开放 Kafka,因为它随后可以用于诸如计费、广告展示次数统计以及许多其他依赖于精确一次处理的用例。

您希望在开源中看到更多什么?

多样性和包容性。 研究一次又一次地证明了这一点——我也从我个人的经验中观察到——多元化的群体比那些非多元化的群体表现得更好,并构建出更好的产品。 遗憾的是,开源社区在吸引和吸引多元化人群方面还远远不够。 性别多样性不足,女性经常被低估和虐待。 我相信 Kafka 社区可以为所有开源社区树立一个多样性的好榜样,并发展全球开源开发者基础。

User profile image.
Deb Nicholson 希望通过技术和社会公正让世界变得更美好。 经过多年的地方政治组织工作,她开始负责自由软件基金会的推广工作,并成为一名热情的自由软件活动家。 她喜欢与开发人员讨论软件专利,与项目维护者讨论领导力,并与活动家讨论自由软件。

评论已关闭。

Creative Commons License本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可。
© . All rights reserved.