AI时代的"责任外挂"——机器人出事故,为什么挨罚的还是人
看到一条新闻:比赛现场机器人失控伤了人,追责追到最后,站在被告席上的不是那台机器,而是当时在场的人。
很多人觉得这不公平:机器干的事,凭什么人担着?但我觉得这恰恰暴露了AI时代组织里最危险的一件事——我们正在把AI当成一个"责任的外挂",出了问题就往外挂上一挂,而组织自己的责任分配机制,正在退化。
一、本质:机器没有"责任账户"
责任这个东西,成立的前提是:能被追、能被罚、能因此改变下一次的行为。
这三点机器一条都不占:它不能被追(没有主体资格)、不能被罚(罚它没意义)、也不会因为被罚就更谨慎(它下次还是那样)。
所以事故一出,整个系统必然会做一件事:把责任顺着链条往回倒,倒到最后一个能担责的活人身上。这个人可能是按下启动键的操作员,可能是签了采购单的负责人,可能是那个"没拦住的"现场主管。
二、组织正在批量生产"责任错配"
我在企业里常见的三种情形:
- 用AI提效率,却把风险留给人。决策交给模型跑,报表交给模型出,可"要不要按这个结论动"最后还是某个基层主管一句话。他既没有模型的参数知识,也没有拒绝的权限,却要为结果兜底。
- 流程越自动,责任越模糊。过去三道审批各有签字,现在一键直通。效率上去了,但中间那些"会多想一步的人"被流程省掉了。没人再问"这真的对吗"。
- "这是系统给的"变成万能免罪符。当决策依据是AI输出,人很容易放弃自己的判断——"数据是这么说的"。出了问题,一句"系统算的"就把个人判断责任卸干净了。
这不是技术问题。这是组织把任务转出去了,但没有把责任结构同步重建。
三、责任外挂的三个典型症状
判断一个组织有没有掉进"责任外挂"陷阱,看三条就够了。
1. 出事之后,追问的第一句话是"谁按的",而不是"哪一环设计有问题"
如果是前者,说明组织的责任机制还停留在"抓人"水平,而不是"改系统"。抓人只能止损,改系统才能避免下一次。
2. 用AI的环节没有对应的"人工复核点"
不是每个AI环节都需要人复核,但风险不可逆的环节必须有人类闸门。没有闸门,等于责任悬空。
3. 责任落到人头上,但对应的授权没跟上
让一个人为结果负责,却不给他叫停的权限、不给他判断所需的信息——这不叫负责,叫背锅。
四、破法:把责任从"外挂"变回"内建"
- 给每个AI环节标一个"人类责任人"。不是"用AI就没人负责",而是"用了AI更要有人负责"。责任人不必亲自操作,但必须知道这环在干什么、什么时候必须拦。
- 建立"不可逆操作清单"。哪些动作一旦执行就无法挽回(对外发布、资金划转、人员处置)?这些动作强制设置人类确认点,AI只能建议,不能执行。
- 授权与责任同步下发。谁负责,就给谁叫停权和知情权。责任和权限必须成对出现,拆开就是耍流氓。
- 复盘问"设计"不问"态度"。事故复盘的第一问永远是"这个环节的设计为什么允许它发生",而不是"当时你为什么没注意"。
五、老邓的判断
机器人伤人被判罚的是人,这个判决背后的逻辑,其实会变成AI时代组织的通则:技术越自动,人越要为它兜底——只不过兜底的人越来越少、越来越底层。
一个组织成熟不成熟,就看它愿不愿意主动把这笔账算清楚:AI干了活,那谁来担这个责?担责的人有没有相应的权力?出了问题,我们是改流程还是抓人?
这三问答不上来的组织,AI用得越猛,塌得越快。
"""