当你准备将人工智能技术整合到你的业务中去，你应当进行以下的分析：哪里可能出错？我们的产品或服务要做什么？如果出了问题会有什么发生？我们是否有个损坏减损计划？想象微软碰到的聊天机器人惨败的尴尬场面：当时网络轮流利用其脆弱的编码，塞入种族主义的，恐惧同性恋，和性别歧视的内容，导致社交媒体上有百万级的阅读量。
由软件或工业机器人引起的事故包含致命事故，能追溯到这种技术的早期，但确切的来说并不是由于系统本身导致。换个说法，人工智能的失败，直接和这个系统要展示的东西制造出来的错误相关。我们能大胆归类这种失败为“学习阶段产生的错误”和“性能评估阶段产生的错误“。一个系统能没学到设计者想要其学的东西，相反却学到了相反的东西，但功能相关。
一个经常引用的例子就是美军的电脑系统本寄希望于自动识别伪装的敌方坦克。这个系统本要识别坦克的图片，但却学了区分这类图片的背景。其他的例子包括设计差劲的功能让人工智能只进行部分让人满意的行为，包括为防止损失而暂停游戏，或重复地接触足球来确认球权。
看看当前ＡＩ失败的例子能有助于理解会产生什么问题以及如何阻止这些问题——或者至少在失败后快速清理。考虑以下过去几年内这些ＡＩ失败的例子吧。
· 2015年：一个邮件自动回复器产生器新建了不恰当的回复，例如给商业伙伴回复”我爱你“
· 2015年:一个抓取汽车零件的工业机器人杀死了一名工人；
· 2015年：图片标记软件将黑人归类于大猩猩；
· 2015年：医疗AI将患有哮喘的病人识别为慢性致命肺炎
· 2015年：成人内容识别软件没能移除掉不适宜内容，将儿童暴露于暴力和性场景中
· 2016年：预测惯犯的AI成了种族主义者
· 2016年：一个AI 代理商被利用来在没有完成游戏情况下发出赢得游戏的获奖信号
· 2016年：视频游戏NPC（非玩家控制角色，或任意角色都不是由人工控制）设计了未授权的超级武器
· 2016年：AI参与评判颜值并将黑皮肤的参赛者评分更低
· 2016年：一个商场的安全机器人和一名儿童碰撞并导致其受伤
· 2016年：AlphaGo 在世界冠军级别游戏Go中输给了人类
并且每一天，消费者经历了越来越多的普通的ＡＩ的短处：垃圾邮件过滤掉了重要邮件，GPS提供了错误的方向，机器翻译误解了语句的意思，自动更正用错误的单词代替了需要的单词，生物识别系统搞错了人，同声翻译软件没能做到同步翻译；所有这些，都很难找到ＡＩ没有出错的例子。
分析以上AI出错的例子，我们能得到个简单的概括：设计来做X的ＡＩ最终不能处理Ｘ任务。尽管看起来简单，但确实强大的概括工具，能用来未来AI的出错。例如，对那些当前和未来的尖端的AI，我们能预测到：
· AI医生可能会在某些方面误诊一些病人而实体的医生并不会。
· 视频描叙软件会误解电影情节
· 笑话生成软件偶尔会不搞笑
· 讽刺检查软件将在讽刺和坦率间迷惑
· 员工扫描软件将存在系统性的偏见并雇用表现低分者
· 火星探测机器人将会误判环境并掉入火山坑
· 报税软件将漏掉重要减免项目或作出不正确的减免
从以上实例和分析中你能学到什么？错误会发生，这是不可避免的。但我们还可以做更好的练习，例如：
· 控制用户输入系统，并限制对已确认数据的输入的学习
· 检查你算法中的种族，性别，年龄，和其他常见的偏见内容
· 明确地分析你的软件会如何出错，并对每一个可能的错误提供安全机制
· 准备一个没那么“好用“的备份产品或者服务
· 准备一个沟通计划来通知媒体以免出现尴尬的错误（提示：以道歉开始）
我预测AI出错的频率和严重度会随着AI能做更多事情而稳步上升。今天狭窄范围内的AI出错只是冰山一角；一旦我们开发出通用的能进行跨领域的人工智能，窘迫将只是我们考虑的最少的方面。
原文：
点击
译文：
点击
（责任编辑：郭倩荷）
