如何使用开源在人工智能中建立信任

人工智能（AI）在我们的日常生活中越来越频繁地被使用，例如 Siri 和 Alexa 等系统在许多家庭中变得司空见惯。许多家庭本身都是“智能”的，由可以控制您的灯光、供暖和空调，甚至播放音乐的设备驱动。而这些音乐播放器由人工智能驱动，可以推荐您可能喜欢的歌曲和艺术家。

然而，这些系统通常被称为“黑匣子”系统，因为我们不知道数据是如何处理的——用户如何知道模型为什么做出这样的预测？深度神经网络的出现和广泛采用，虽然提供了令人印象深刻的结果，但使这个问题变得更加关键，因为人类无法逻辑地解释信息如何在数千个神经元中处理。

一个更安全攸关的人工智能系统例子是医生使用它们来减轻压力负荷。这些系统通过快速摄取数据来实现这一点；例如，人工智能可以比人类快指数级地阅读和解析数千份医学期刊。然后，这些数据可以用于训练预测模型，这些模型用于帮助医生诊断患者，这次配备的数据点比以前更多，而且速度更快。人们认为，有了所有这些信息，机器可以做出比人类“更好”的决定。然而，当我们不完全理解数据处理技术时，我们如何信任机器做出如此关键的决定呢？

开源支持许多方法和应用，这些方法和应用可以提高对人工智能系统的信任。在本文中，我们将探讨其中一些开源项目以及开源心态，以及如何通过成为开源社区的一员，您可以获得对人工智能的更多信任。

像 LIME 和 SHAP 这样的开源项目可以解释预测的结果。为了说明这是如何工作的，让我们看看一个贷款请求用例。基于人工智能的结果，银行拒绝了一位提出贷款请求的客户，但算法为什么会返回该结果？这些项目旨在通过显示特征重要性图来使模型更具可解释性，即哪些特征对模型的结果很重要。特征是生成预测的输入。在这个例子中，如果用于拒绝贷款的重要特征是“性别”，那么这意味着模型是有偏见的或不正确的。如果已知模型是错误的，那么重新训练它将给出改进的预测。

这些项目通过解释黑匣子模型和反思决策来帮助建立对人工智能系统的信任。通过开源像这样的项目，由于预测建模过程的开放性，我们可以确保对系统的信心。它可以让利益相关者确信模型是正确的，并且其建议是值得信赖的，从而降低业务风险。

开源可以通过快速有效地迭代测试系统的潜在结果来阻止不公平现象，例如上面提到的性别偏见示例。如果模型有偏见，那么可以及时向社区发出通知，因为社区中的开发人员比项目是闭源的要多。因此，如果社区中存在信任，那么就可以对系统产生信任。

开源平台利用来自广泛同行群体的想法，并为在系统中创新和创建有价值的功能提供更多机会。这些想法将项目集中在用户驱动的方向上，改进来自开发人员/用户本身。该系统是值得信赖的，因为它具有以用户为中心的设计模式，并促进了系统开发和执行的知识。本质上，制造系统的人可以信任该系统。

当人工智能系统失败时，人们可能会感到冒犯或被误导。项目或组织失去人们的信任，并对整个系统产生不信任感。通过使人工智能项目开源可以保护可信度，因为社区中有更多的测试人员，数据和性能就越能得到验证。

通过利用开源的社区关注性质，我们还可以确保更多具有更广泛技能的人员定期检查代码库。预测模型非常擅长识别模式；但是，当面对异常值时，它们可能会失败。另一方面，人类非常擅长识别和响应异常和细微差别。因此，让人类参与人工智能系统对于阻止错误至关重要，在医生的示例用例中，错误实际上可能是致命的。必须有领域专家来检查系统的结果，而且越多越好。

以社区为中心的功能开发还可以通过确保项目符合公司法规来提高信任度。社区可以包括来自业务部门的利益相关者，他们可以引导开发重点并降低业务风险。

对人工智能的封闭式方法可能导致不充分的功能设计选择，这些选择与当前社区和业务的需求无关。这些功能可能对系统有害；例如，如果医疗系统的患者诊断功能由于缺乏测试而准确性较差，那么这将意味着更多的人工干预，并最终导致更少的信任。

封闭式方法还会扼杀创造力和开发创新想法的自由，并且它会阻止来自社区用户或公司外部人员的想法的反馈循环。反馈循环很有用，因为开发它的人们对系统及其工作方式有更深入的了解，如果社区知道它有效，那么他们就更可能使用它。

当人们使用黑匣子模型时，由于缺乏对它们正在做什么以及它们如何工作的理解，信任人工智能可能很困难。开源心态和模型通过打开黑匣子，鼓励迭代和协作开发，并利用社区来确保适当的功能和更少的错误，帮助用户和开发人员在人工智能中建立更多信任。开源使人工智能能够以值得信赖和有意义的方式为用户发挥其潜力。