在 BuzzFeed Open Lab，我们一直在思考自动化新闻。特别是，我们希望构建开源工具，供大大小小的媒体机构使用，以增强记者能力，而不是取代他们。作为朝着这个方向迈出的第一小步，我们构建了一个工具，用于批量监控 RSS 源，我们内部正在使用它，以使美国证券交易委员会 (SEC) 的 EDGAR 系统更易于访问。
EDGAR，即电子数据收集、分析和检索系统，是美国证券交易委员会的公开文件数据库。对于某些类型的事件，例如当一家公司上市并被要求同时向所有人披露信息时，EDGAR 是事实的来源。
我们想要一个自动化系统，从 EDGAR 中提取和处理新信息，以便节省我们记者的时间和精力。我们审查了许多尝试解决其中一些问题的现有工具，但最终都未能满足需求。有很多 RSS 阅读器，但很少有提供即时通知的。IFTTT 拥有出色的界面，但设置配方非常耗时，并且快速监控多个源变得难以管理。
最终，我们决定构建一个 RSS 监视工具，我们称之为 RSS Puppy。它旨在监视大量 RSS 源集合，并发出其他系统可以监听和采取行动的事件。它仅使用 Node.js 的单个实例和一个 Postgres 数据库进行存储运行。它也很轻量级，因此可以部署在任何本地服务器或云服务提供商上。最后，它是模块化的，因此您可以开发自己的输出处理程序来执行您需要的任何操作。
我们的 RSS Puppy 实例监视来自许多不同公司的文件，并在发生任何情况时立即向我们的记者发送通知。它还会调出文件的过去版本，并突出显示新版本中的更改，让记者在理解事态发展方面抢占先机。故事的控制权仍然掌握在记者手中，但该系统有助于消除一些体力劳动。
如果您有想要监控的 RSS 源，入门非常简单，只需设置一个数据库，克隆 RSS Puppy，然后在示例配置中更改几个字段即可。您可以在 readme 中找到更多详细信息，并查看我们如何使用 Docker 管理我们的实例的示例 here。
一旦这些基本要素到位，您就可以创建执行您喜欢的任何操作的输出处理程序。RSS Puppy 将处理定期检查源和跟踪旧条目的问题。当出现新内容时，它将使用数据调用您的处理程序。处理程序是用 JavaScript 编写的，可以是单个函数，也可以是具有许多依赖项的大型模块。我们打算继续为常用服务开发输出处理程序，我们非常欢迎在这方面的贡献。因此，请查看 RSS Puppy，并告诉我们您是否使用它构建了任何很酷的东西！
评论已关闭。