数据驱动的 AI 模型，在做决策时候，极易受到攻击

数据是构建人工智能系统必需的关键基础设施。数据在很大程度上决定了 AI 系统的性能、公平性、稳健性、安全性和可扩展性。

那么，用足够多的数据训练而来的 AI 系统，能够做出正确的决策么？今年 5 月份，medium 上的 Marianne Bellotti 博主发表了一篇名为 "AI 正在解决错误问题的文章 "。在文章中，作者提出一个观点：在更多数据（信息）加持下，人类都不一定做出 " 合适决策 "，为什么要假设 AI 会表现更好呢？

为了论证这个观点，博主写道：

" 在现实生活中，决策者往往为了节约成本而进行优化决策。但决策毕竟是根据结果来判断好坏的，在正确分析的基础上还需要一点运气。在结果出来之前，即使是在绝佳数据支持下最仔细、最彻底构建的策略也无法保证决策的绝对正确。"

显然，这一观点的意思是：决策的过程与其说是对数据的客观分析，不如说是对风险和优先级的权衡。

最后，基于上述观察，作者论证了这么一个观点：数据驱动的 AI 模型，在做决策时候，极易受到攻击。

1

AI 的方向存在偏差

面对一个难题，分步骤、有条理的解决方案是值得肯定的。有哪些假设？假设如何构建？需要解决的问题？如果这些假设不同，会解决不同的问题吗？想要解决的问题和结果之间有什么关系？以上这些子问题，对于决策过程异常重要。

假设访问更多数据是决策者做出更好决策的关键，所以研究者希望喂给系统越多数据，AI 越好的做出决策，拥有更少的负面影响。

在这一假设下，我们理所当然的认为：完美信息应该自动改善决策过程。考虑到现实，这一假设是错误的。因为，决策的过程更多是由决策者背后的政治决定，退一步讲，即使能够获得完美信息，它也会通过增加噪音水平而降低了决策质量。

例如，人工智能可以正确识别内容，但基于该内容做出的决策在很大程度上受到用户和组织的规范和期望的影响。

例如，Facebook 的审核政策允许将某些敏感部位图片 PS 到 " 明星 " 身上，但禁止明星真实敏感部位图片露出。在 Facebook 这个例子上， 人类很容易理解利益相关者之间的关系如何使这种区分变得合理：一个是违反言论自由和公共评论的规范；另一个则没有。

显然，当团队做出决策时，考虑到各个利益相关者及其激励因素，改进决策的最佳途径就不再是获取更多数据，而是需要加强利益相关者之间的沟通。

这对于问题 " 从国家层面来看，为了提高 AI 的决策能力，是否需要花费数十亿美元来清理数据和增强数据传感器？" 有了更好的回答。

毕竟，美国国防部每年在员工身上花费 11-150 亿美元，以求他们将数据处理成某种形式。经过数十年的投资、监管和标准制定，我们今天与 1970 年时候的 " 计算机化的大脑（computerized brain）" 提法相比，本质上并没提高多少。然而，随着计算机越来越先进，人们也越来越沉迷数据。

2

数据驱动的脆弱性

谈论数据质量的方式具有误导性。我们谈到 " 干净 " 数据，就好像存在一种数据既准确（且无偏差）又可重用的状态。其实，干净与准确不同，准确与可操作又不同。而无论哪种类型的数据出现问题，都有可能阻碍 AI 模型的开发，或者影响 AI 模型做决策。

数据出问题的方式有很多，例如：数据实际上不正确、已损坏或采用错误格式。还有些更微妙的错误：数据是在特定上下文中获取的，但重用的时候不恰当；数据没有标准化导致相同的事情，表达方式不一；对于模型来说数据处于错误的粒度级别 ......

对于上述问题，仅使用单一数据源是无法解决的。如果有攻击者试图往模型、系统中注入 " 错误 "，那么这些问题更不可能解决了。

AI 虽然创造了新机会，但我们也不能忽略它的脆弱性。换句话说，AI 带来新解决方案的同时，也发明了新攻击方法。例如 Deepfake、卫星数据的 " 位置欺骗 " 等。这些 " 有毒 " 技术正在和 " 良善 " 技术一起进步。

当前的 AI 系统完全依赖数据质量，虽然技术已经比较成熟，但这种设计方案极易受到攻击。因此在这种情况下，AI 系统必须被设计成能够灵活应对不良数据的模型。让 AI" 反脆弱 " 是一种抵御攻击风险的方式。

3

什么是反脆弱人工智能？

在系统思维中，" 反脆弱 " 是一种设计，不仅可以从故障中恢复，而且在遇到故障时更加强大、更有效。基于实际改善决策的因素构建 AI 系统将为反脆弱人工智能创造机会。

认知科学的研究中提到，良好的决策是：主动阐明假设、构建假设检验验证这些假设以及在利益相关者之间建立清晰的沟通渠道的产物。

许多引发人为错误的认知偏差都是上述三方面出现问题的结果。例如没有清楚地阐明假设，就将解决方案应用于不合适的环境条件；不测试假设，就无法根据不断变化的条件来调整正确的决策。

AI 很容易受到不良数据的影响，因为我们过分强调了它在分类和识别方面的应用，而低估了它在建议和情境化方面的应用。然而，决策型 AI 又非常容易被破坏。

设计反脆弱 AI 非常困难，因为将算法分析的结果作为结论和作为建议，这两者之间有很大的差别。而决策者，为了节省精力非常有可能一股脑的将 AI 输出作为结论。这种想法，已经在刑事司法和警务领域造成了灾难性的错误。

那么在医学中，为什么 AI 能够提高决策质量？因为，许多诊断并没有单一的正确答案，某种症状背后可能对应多种疾病，到底患有哪种疾病，可能只是概率问题。临床医生会在头脑中建立一个决策树，其中包含他能想到的所有可能病因，并让病人做排除某些可能病因的测试。因此，医学诊断是一个 " 定义假设、检验测试、进一步缩小可能病因集 " 的循环过程，直到决策收敛。

这时候，AI 决策模型的作用是提示医生将可能的疾病类型纳入他的决策树，所以尽管可能数据不佳，但患者的治疗效果却有所改善。目前，这种 AI 已经在用于改善医疗专业人员之间的沟通和知识共享，或在关键时刻从患者那里获得新的相关信息。

4

使用 AI 进行决策的正确姿势

在决定如何最好地利用人工智能时，技术领导者需要首先考虑他们如何定义需要解决的问题。如果 AI 是改善决策，那么 AI 应该引导决策者进行假设检验，而不是试图超越专家。

当 AI 试图胜过专家，它完全取决于接收到的数据的质量，从而产生了一系列漏洞，攻击者可以轻松地利用这些漏洞。

当人工智能的目标不是成为最好的顶级专家，而是加强和支持决策实践时，其对不良数据具有弹性并能够具有反脆弱的功能。

但这样的人工智不能做决定。相反，它帮助人们阐明决策背后的假设，将这些假设传达给其他利益相关者，并在与这些假设相关的条件发生重大变化时提醒决策者。

综上，人工智能可以帮助决策者弄清楚什么状态是可能的，或者在什么条件下它们是可能的。这样的解决方案可以通过解决现有弱点来增强决策团队的整体能力，而不是因不良数据产生一些新的弱点。

相关链接：https://onezero.medium.com/a-i-is-solving-the-wrong-problem-253b636770cd

声明： 此文观点不代表本站立场；转载须要保留原文链接；版权疑问请联系我们。