Netflix 大数据平台的演进

Eva Tse 将在今年的 OSCON 大会上发表演讲，分享她在 Netflix 的经验，她的演讲题目是Netflix 大数据平台的演进。

我采访了 Eva，了解了她、Netflix 以及开源技术如何用于改进 Netflix 服务的一些背景信息。Netflix 不仅使用并贡献了现有的开源项目，还将其自己的项目（如 Genie）开源。要了解更多关于 Netflix 开源项目的信息，您可以访问他们的 GitHub 页面。请务必通读全文，以了解最重要问题的答案：Eva 最喜欢的 Netflix 原创剧集！

请介绍一下您自己和您的背景。

我在 Netflix 负责大数据平台团队的管理。我的团队在 AWS 云中构建和管理 Netflix 大数据平台。在加入 Netflix 之前，我曾在 Informatica 的旗舰产品 PowerCenter 中构建数据仓库产品。我曾领导 PowerCenter 的服务器和元数据服务团队。

我天生就被解决大规模数据相关问题所吸引。数据是企业最重要的资产之一。对于像 Netflix 这样快速增长的互联网规模企业来说，及时可靠地向决策者提供数据是一项挑战。我喜欢迎接挑战，在数据浪潮来临之前抢占先机，并从中找到意义！

您最初是如何参与开源的？

当我刚加入 Netflix 时，我们希望真正了解我们客户的流媒体体验。随着我们流媒体服务需求的增长以及我们最终走向全球的计划，我们需要构建一个数据分析平台，以满足我们未来多年的需求。我们认识到 Apache Hadoop 作为分布式数据处理引擎的势头和优势。我们决定尝试一下，剩下的就是历史了。

在过去的几年里，我们不断评估和采用 Hadoop 生态系统中不同的开源技术。我们还看到了开源和共享我们在大数据平台中构建的服务层的机会。因此，我们开始在 Netflix OSS 中开源一些组件，例如 Genie、Inviso、Lipstick 等。

您最喜欢的（非 Netflix）开源产品是什么？您最喜欢的 Netflix OSS 产品是什么？

我们喜欢我们在大数据平台中使用的所有产品，例如 Presto、Spark、Hive Pig、Hadoop 和 Parquet。这些都是很棒的技术。这些项目中的每一个都满足了我们的特定需求，并且每个项目都有一个非常活跃和充满热情的开源社区。

然而，Hadoop 是我最喜欢的。它是行业向开源大数据技术迈进的关键推动者。它也从一个 Map-Reduce 执行引擎发展成为一个可以托管不同数据处理引擎的资源管理系统，经历了漫长的发展历程。

在大数据领域，我最喜欢的 Netflix OSS 项目是 Genie。Genie 帮助我们的用户抽象出运行数据处理作业的细节，并将我们的平台作为一项服务向公司的其他部门公开。这是一个简单而强大的概念。它是我们架构中的一个关键组件。我们与几家公司谈论了 Genie，他们正在将其纳入他们的大数据环境！

Netflix 为开源项目贡献了多久？您对其他不认同使用和贡献开源价值的公司有什么建议？

总的来说，我们的理念是回馈我们使用的开源项目。回馈开源项目是非常有意义的，这样这些项目才能继续发展，社区也能从中受益。

在我的演讲中，我们将讨论我们在使用和贡献开源方面看到的一些好处。总的来说，有很多优秀的开源技术是由真正有才华和热情的工程师构建的。与其从头开始构建，不如利用可能已经有人解决了的相同问题，并在其基础上构建或改进。开源就像工程智力资源的众包，非常强大。

您能给我们提前透露一下您在 OSCON 2015 大会上的演讲内容吗？

在这次演讲中，我将重点介绍我们如何解决大数据平台中超出数据量本身的规模问题。我们将讨论我们的整体架构以及我们整合在一起构建平台的所有开源项目。我们还将了解每个开源项目如何在我们的技术栈中满足特定需求，以及我们在利用和回馈这些开源技术方面的理念。

只是为了好玩，您最喜欢的 Netflix 原创剧集是什么？

这是一个棘手的问题。显然，它们都非常棒。但我最喜欢Unbreakable Kimmy Schmidt。我喜欢她坚不可摧的态度 :)

本文是 OSCON 2015 演讲者访谈系列的一部分。OSCON 涵盖了开源的方方面面——完整的技术栈，包括您在日常工作中使用的所有语言、工具、框架和最佳实践。OSCON 2015 将于 7 月 20 日至 24 日在俄勒冈州波特兰举行。.