LinkArchiver 自动将链接提交到 Internet Archive

在 Twitter 上分享的链接可以永久保存,用户无需任何操作。
336 位读者喜欢这篇文章。
open source button on keyboard

Opensource.com

互联网是永恒的,除非它不是。“链接腐烂”——曾经有效的网站链接随着页面移动或网站下线而逐渐失效——对于试图在线研究的人来说是一个实际问题。 Internet Archive 通过在“时光机器”中提供提交的内容来帮助解决这个问题。

当然,困难在于如何让人们记住提交链接以进行存档。

这就是 Parker Higgins 新推出的 Twitter 机器人发挥作用的地方。 @LinkArchiver 帐户自动将它关注的帐户中的链接提交到 Internet Archive。如果 Twitter 用户关注 @LinkArchiver,它将回粉并继续添加链接,即使该用户取消关注该机器人。这意味着在 Twitter 上分享的链接可以永久保存,用户无需任何操作。

这种低成本的特性非常吸引 Higgins。“我最兴奋的是整个设置的被动性,”他告诉 Opensource.com。“如果你依靠人们来挑选和选择什么是重要的存档内容,你就会错过很多最重要的东西。通过简单地抓取每个链接的副本,这个机器人应该有助于确保我们最终不会错过上下文。”

在最初开发该机器人之后,Higgins 联系了 Internet Archive。他担心自动化会引起问题的担忧很快就被打消了。“就他们处理的流量而言,这实际上只是一个舍入误差,”他说,尽管他应要求为 API 请求提供了一个自定义用户代理字符串。可扩展性问题出在 Twitter 方面:该服务限制了一个帐户的关注者数量和新关注者的速率。这限制了 LinkArchiver 单个实例的能力。

幸运的是,LinkArchiver 在 GitHub 上以 AGPLv3 许可证提供。

只需一台小型服务器和一个 Twitter 帐户,任何人都可以运行这个机器人。 Higgins 设想人们运行专注于特定兴趣或社交圈的 LinkArchiver 实例。“我想到的一件事是,你可以关闭回粉行为,并策划关注列表以针对特定群体或兴趣。例如,一个机器人可以关注一群朋友或同学,或主要的媒体 outlets,或每位美国参议员和众议员,并存档他们发布的链接。”

这并非 Higgins 首次涉足 Twitter 机器人:@securethenews@pomological 以及一直很受欢迎的 @choochoobot 都是他之前的作品。这些机器人都是只写的。 LinkArchiver 是他开发的第一个交互式机器人,这需要学习几项新技能。这项工作是 Higgins 参与 Recurse Center 的一部分,Recurse Center 是程序员为期 12 周的务虚会。

Higgins 鼓励提交拉取请求和更多 LinkArchiver 机器人实例。

标签
User profile image.
Ben Cotton 受过气象学方面的培训,但天气是一项很棒的爱好。 Ben 在红帽公司担任 Fedora 项目经理。他是《开源项目项目管理》一书的作者。在 Twitter (@FunnelFiasco) 或 FunnelFiasco.com 上找到他。

评论已关闭。

Creative Commons License本作品根据 Creative Commons Attribution-Share Alike 4.0 International License 获得许可。
© . All rights reserved.