利用机器学习技术关注鸟类

Cacophony 项目的宏伟愿景是利用最新技术来监测鸟类种群并人道地消灭危害它们的外来捕食者，从而使新西兰的本土鸟类回归。

该项目始于我们创始人的后院，旨在衡量他为保护其房产上的鸟类所做努力的有效性。从这个简单的开端，该项目迅速发展成为一个系统，其中包括两个边缘设备、一个云服务器以及使用机器学习自动识别动物。该项目从一开始就是完全开源的，并定期收到来自各行各业志愿者的贡献。

是什么让新西兰的鸟类如此特别？

图片来源：

^{新西兰图伊鸟。}

在新西兰，我们的鸟类是我们的 taonga，我们珍贵的东西。新西兰与世界其他地区隔绝了 7000 万年，我们的鸟类物种在没有哺乳动物（除了小蝙蝠）的情况下进化而来。因此，新西兰许多独特的鸟类物种，包括我们的国家象征——几维鸟，都没有针对捕食者的防御策略。

图片来源：

^几维鸟。

不幸的是，在欧洲殖民者定居后的过去几个世纪中，老鼠、白鼬和负鼠等入侵物种的引入已经大大减少了许多鸟类物种的数量。现在，80% 的本土鸟类物种已经濒临灭绝或数量正在下降。

多年来，自然资源保护主义者通过将剩余种群迁往无捕食者岛屿，从灭绝边缘拯救了我们许多标志性物种。这些岛屿经过艰苦的清理，清除了所有引进的哺乳动物。在这些岛屿上，您可以回到过去，听到迎接第一批欧洲探险家的喧闹鸟鸣声。

这些岛屿非常成功，以至于现在已经人满为患，自然资源保护主义者已经开始在大陆上创建无捕食者保护区。政府最近设定了雄心勃勃的目标，到 2050 年使新西兰摆脱老鼠、白鼬和负鼠。

不仅自然资源保护主义者在为我们的鸟类而战。近年来，许多普通新西兰人组成了当地团体，共同努力诱捕捕食者，希望能在家中听到我们本土鸟类婉转的鸟鸣声。

我们相信，通过使他们使用的工具现代化，我们可以使这些团体更加有效。通过使用数字诱饵结合更有效的消除方法，我们认为这些计划的效率可以提高高达 80,000 倍。

我们的技术生态系统

在过去的几年中，我们使用开源、快速原型设计方法，构建了一个用于自动监测鸟类种群和引入新西兰的捕食者的组件生态系统。该系统总结在下图中。

图片来源：

^{架构图，显示了 Cacophony 生态系统不同组件之间的交互。}

我们的热成像视频平台使我们能够监测和观察害虫物种的行为。它专门设计用于检测小型和快速移动的捕食者，如白鼬和老鼠。它配备了坚固耐用的 Raspberry Pi 计算机和 FLIR Lepton 3 热成像摄像头。电源由电池或交流电源供电，额外的定制硬件提供电源和看门狗功能、用于引诱捕食者的音频输出以及远程通信。

图片来源：

^{热成像视频平台硬件。}

我们高度调优的运动检测算法会监控实时热成像摄像头馈送，并检测温暖、移动的物体（希望是动物）。当检测到运动时，摄像头开始录制并将其上传到 Cacophony 项目 API 服务器以进行存储和分析。通过使用热成像摄像头馈送，我们可以比追踪摄像头（通常设计用于检测猪和鹿等大型哺乳动物）更灵敏地检测到小型哺乳动物。

高灵敏度非常重要，因为我们无法管理我们无法检测到的东西。白鼬等哺乳动物很难被检测到，因为它们体型小、速度快，并且很少与其他检测设备（如追踪隧道和咀嚼卡）互动。

我们还创建了一个在廉价手机上运行的 Android 音频记录器。当安装在野外时，它可以定期、客观地进行 GPS 定位、带时间戳的音频录制，并上传到我们的 API 服务器。这些录音非常适合长期监测鸟类种群。

最终，我们计划在这些录音上使用机器学习来确定给定地点的鸟类种群趋势，并在可能的情况下自动识别鸟类物种。在我们继续研究人工智能的同时，我们已经在全国多个地点进行录音，以建立逐年的数据集。

捕获的音频和热成像视频录音将上传到我们的 API 服务器进行存储和处理。我们的机器学习管道处理热成像视频录音并标记出现的动物。所有录音也被转换为易于查看的格式。

机器学习管道实现了捕食者的自动识别，这是使我们的方法特别有趣的一个方面。上传的热成像视频录音首先进行分析，以查找每帧中温暖、移动的物体。这些区域从每帧中剪切出来，并通过时间链接在一起，形成我们所说的“轨迹”。

图片来源：

^{在热成像图像中识别动物的步骤。剪切的图像被输入到我们的机器学习算法中，该算法计算动物物种的预测。}

然后使用卷积循环神经网络 (CRNN) 模型对这些轨迹进行分类，该模型使用流行的 TensorFlow 平台 实现。该模型使用人工标记的轨迹进行训练，这些轨迹被分解为三秒长的块。输入轨迹被拉伸、翻转和剪切，以增加输入数据的多样性，并使模型在实际使用中更加稳健。

在分类时，模型从轨迹中单独馈送每一帧，以生成每个时间点每个动物类别的分类概率。模型的循环结构意味着其当前输出受先前输出的影响。这使得模型能够考虑动物随时间移动的方式，从而大大提高了分类精度。这直观上是有道理的：人类观察者通常发现很难从单个视频帧中识别动物，但看到动物移动几秒钟通常会泄露物种信息。

我们创建了一个 Web 平台，以便用户可以查看和收听在其设备上录制的录音。通过该平台，用户还可以在视频中手动标记动物，并设置音频播放以引诱动物靠近摄像头。

我们系统的最后一部分是设备管理工具。我们的管理服务器允许我们监控在线设备的正常运行时间，并将新版本的软件和配置推送到我们的设备。

最后，我们有 Sidekick，一个 Android 应用程序，可帮助用户设置热成像摄像头。对于没有移动数据覆盖的设备，Sidekick 可以无线收集热成像录音，并在互联网连接可用时稍后上传。

我们的下一步行动

凭借一个小型团队和最少的管理，我们快速迭代、发现和改进。有太多的好主意层出不穷，最困难的事情之一是让我们决定下一步要做什么。我们总是需要在尝试新想法与使我们的技术更可靠、更易于人们使用之间取得平衡。

目前，我们正在努力调整我们的人工智能 (AI) 模型，使其在热成像摄像头硬件上运行，以实现捕食者的自主分类。一旦完成，我们计划将摄像头与陷阱配对，这些陷阱仅在摄像头识别出目标物种时才会触发。这允许更有效的诱捕策略，提高捕食者捕获率，同时消除非目标动物的兼捕。

其他即将到来的项目包括我们不断增加的录音集的可视化、应用机器学习来评估音频录音中的鸟鸣声以及新的设备管理功能。我们还有许多其他想法要尝试，无论大小——团队永远不会感到无聊！

如果您有兴趣了解更多信息，请访问 Cacophony 项目 网站。如果您想贡献力量，请使用联系表格或那里列出的电子邮件地址。由于项目进展如此迅速，直接联系我们通常是确定您可以提供最有趣和最有用的帮助的最简单方法。

Clare McLennan 和 Menno Finlay-Smits 将在 1 月 21 日至 25 日在新西兰基督城的 linux.conf.au 上展示 利用技术关注鸟类。