关于人工智能的批判性问题:如何研究、比较与辩论

关于人工智能的批判性问题是一套方法,而不是一份背下来的清单。本指南说明如何把宽泛的好奇心转化为精确、可辩论的问题,如何在不夸大结论的前提下比较研究,以及如何在结构化交锋中检验自己的推理。本文面向学生、辩手,以及任何准备认真讨论人工智能的人。

先找到问题背后的问题

大多数搜索人工智能相关问题的人想要一个起点:我们究竟该问什么?有用的做法是把常被混在一起的四类问题分开。定义性问题问某个术语在特定语境中是什么意思,例如一个系统是否算得上自主。经验性问题问什么是可测量为真的,例如某工具在明确定义的任务上是否提高了准确率。规范性问题问应该做什么,例如系统出错时由谁承担责任。比较性问题问在既定标准下一种做法是否优于另一种。

当你在课堂或辩论场合准备要问的人工智能问题时,先给问题贴上类型标签,再开始论证。定义之争无法用统计数据解决,规范之争也无法只靠基准测试解决。仅这一个习惯就能避免大多数各说各话的失败。

第二个习惯是让问题可回答。“人工智能好吗?”不是研究问题。“在500字议论文任务中,写作辅助工具是否提高了大一学生的修改质量(由盲评审评分)?”则是。更窄的版本可以被研究、被辩论、被证伪。

  • 定义:在这个系统中,什么算作人类监督?
  • 经验:该工具在这个具体任务上的错误率是多少?
  • 规范:当输出造成伤害时,谁应被问责?
  • 比较:两种工作流程中,哪一种在每用户小时上产生更好的结果?

经得起推敲的关于人工智能的批判性问题

最强的关于人工智能的批判性问题有三个共同特征:它们点明语境,明确一个可测量或可争论的结果,并允许多个站得住脚的答案。含糊的怀疑(“人工智能有偏见”)和含糊的乐观(“人工智能很高效”)在追问下都会崩塌。把它们替换为受语境约束的版本。

使用问题阶梯。先从范围开始:哪个系统、哪些用户、什么任务?再到证据:什么数据支持这一主张,数据是如何收集的?然后是机制:为什么会产生这种效果?再是替代方案:与什么相比?最后是价值:哪些权衡可以接受,由谁决定?

当你讨论政策语境中的人工智能问题时,这个阶梯同样有用。“某系统应受监管”这一主张,如果能指出具体风险、受影响人群、伤害证据以及已有的更廉价替代方案,就会更有力。

  • 范围:哪个版本的系统,部署在什么场景,面向哪些用户?
  • 证据:样本是什么,对照组是什么,测量方法是什么?
  • 机制:什么因果解释能说明所报告的结果?
  • 替代方案:与什么现有做法相比,代价如何?
  • 价值:接受了哪种权衡,谁同意了这种权衡?

比较研究结论而不夸大

当研究被当作可以互换时,研究比较就会失败。在比较两篇论文或报告之前,检查五件事:任务、人群、基线、指标和时间跨度。一项在短篇选择题任务上显示收益的研究,并不能自动支持关于长篇推理的主张。一项针对专家用户的研究,也不能自动推广到初学者。

一张有用的比较表,每项研究一行,列为这五个维度加上研究自述的局限。如果某个单元格未知,写“未报告”,而不是猜测。这种诚实会增强你在辩论中的立场,因为它表明你能区分证据说了什么与你希望它说了什么。

警惕三种常见扭曲。第一,指标替换:报告一个方便的数字,而不是真正重要的结果。第二,基线注水:把新工具与人为削弱的替代方案比较。第三,时间跨度漂移:用短期数据声称长期收益。把这些扭曲明确说出来,本身就是一种有力的分析动作。

示例一:关于人工智能写作工具的课堂辩论

假设动议是:“本院允许在中学作文中使用人工智能写作助手。”薄弱的开场论证会泛泛地说人工智能有益或有害。有力的开场会界定工具、年龄组、任务和保障措施。

正方立论。定义:一种会建议措辞但不生成完整提交内容的写作助手。标准:该政策是否提高学生修改自己论证的能力?证据:比较在有建议和无建议下修改的草稿,由盲评审按清晰度和推理评分。机制:建议促使学生注意到薄弱的过渡。保障:披露,以及教师审阅草稿历史。

反方立论。定义争议:许多工具确实会生成完整文本,因此正方的狭窄定义不现实。经验挑战:清晰度上的提升可能不会迁移到独立写作。规范挑战:获取不平等会把学习辅助变成优势。替代方案:在不使用工具的情况下明确教授修改方法,并测量相同结果。

评判提示。辩论的关键在于正方能否守住其定义,以及所测量的结果是否与教育目标一致。评委应奖励同时回应这两点的队伍,而不是引用研究最多的队伍。

示例二:比较两项人工智能政策提案

假设某城市考虑两项提案。提案A要求:在面向公众的服务中使用人工智能系统时须披露。提案B要求:部署前进行独立审计,但不设一般性披露规则。

第一步,澄清目标。目的是告知居民、防止伤害,还是两者兼有?第二步,按标准比较:对公众的透明度、每次部署的成本、发现失败的可能性,以及对小型供应商的影响。第三步,明确每项提案需要什么证据。披露需要证据表明居民在知情后会改变行为。审计需要证据表明审计者能发现相关失效模式。

第四步,陈述权衡。披露成本低、覆盖广,但可能无法防止伤害。审计有针对性,但成本高,且可能漏掉部署后出现的问题。一个站得住脚的立场可以结合两者,但必须解释由谁付费、如何管理利益冲突。

第五步,预判最强反对意见。对提案A,反对意见是披露会变成走过场。对提案B,反对意见是审计造成瓶颈并偏向大公司。忽略这些反对意见的比较是不完整的。

附解析答案的练习题

练习。阅读这一主张:“一项新研究证明人工智能辅导能提高考试成绩,因此学校应取代人类辅导教师。”在接受结论之前,列出你会提出的三个批判性问题。

参考答案。第一,范围与证据问题:样本、学科和时长是什么,是否有接受人类辅导的对照组?第二,指标问题:哪些考试成绩,它们是否衡量学校真正关心的学习目标?第三,规范与实践问题:取代在教师时间、学生关系和获取公平方面的代价是什么?

为什么这个答案有效。它把经验问题与规范问题分开,要求有基线,并检验结论是否从证据中推出。较弱的答案只会说“研究可能有偏见”,而不指出具体偏见或能揭示它的问题。

辩论人工智能问题时的常见错误

最常见的错误是用经验事实回答规范问题,并以为论证已经完成。第二个错误是把一项研究当作决定性的。第三个错误是使用“智能”或“安全”等未定义的术语,仿佛所有人都认同同一定义。

另一个错误是把对某一具体应用的批评与反对一切人工智能混为一谈。一个人可以反对预测性警务,同时支持医学影像工具。当发言者说明自己批评的是哪项应用,以及为何该反对意见会或不会推广时,辩论会更好。

最后,避免编造统计数据或引用未具名的研究。如果你没有来源,就把观点表述为假设或问题。这比编造的数字更有说服力,也示范了良好的求知实践。

实用复查清单

在展示或提交人工智能辩论之前,运行这份清单。它只需五分钟,能抓住大多数薄弱推理。

  • 核心问题是否被标为定义、经验、规范或比较?
  • 每个经验主张是否点明任务、人群、基线和指标?
  • 未知细节是否标为未知,而不是被填补?
  • 最强反对论证是否被公平陈述并回应?
  • 自主、偏见和安全等术语是否针对本语境定义?
  • 结论是否从证据中推出,还是过度延伸?
  • 价值与权衡是否明确,包括谁承担成本?
  • 每个例子是否原创,每个统计是否可追溯?

结构化辩论练习的用武之地

阅读批判性问题的内容有用,但这项技能需要在时间压力下反复练习才能提高。结构化形式有帮助:选择一方,分配开场、反驳和总结等角色,并迫使每个阶段回应问题阶梯,而不是滑向泛泛而谈。事后复盘交锋,针对证据和定义给出具体反馈,能把讨论变成刻意练习。

AI Debate Arena 是一个基于浏览器的4v4辩论模拟器,正是为这类演练而建。你可以选择一方和八种辩手角色之一,或观看人工智能对人工智能,配有主持人、计时阶段、反驳、自由辩论,以及三位给出反馈的人工智能评委。你可以输入话题或生成话题,在浏览器支持时使用语音输入,并收听朗读。可用权限和历史记录取决于你的方案。

常见问题

批判性问题与辩论动议有什么区别?

动议是需要支持或反对的陈述,例如“本院禁止在公共场所使用人脸识别”。批判性问题是检验该陈述的工具,例如“什么证据表明该禁令会减少伤害,而不会把伤害转移到别处?”动议组织辩论;批判性问题检验其中的推理。

辩论前应准备多少个人工智能问题?

准备得比你想象的少,并让它们精确。三到五个标注清楚、覆盖定义、证据和价值的问题,通常比一长串问题更有力。为每个问题排练追问,因为问题的价值在于它迫使出的答案。

当两项研究使用不同指标时,如何公平比较?

不要强行排出单一名次。而是梳理每项研究的任务、人群、基线、指标和时间跨度,然后说明哪些结论在两者之间共同成立,哪些不成立。如果指标衡量的是不同目标,就明确说出来,而不是取平均。

批评一项人工智能应用是否意味着反对一切人工智能?

不是。对某一具体用途的批评,例如高风险决策中的自动评分,可以与支持其他用途并存。在辩论中,要指明具体应用,并解释你的反对是基于该应用独有的特征,还是一般性担忧。

在时间压力下演练你的人工智能辩论问题

把问题阶梯变成一场实时交锋。选择一方和辩手角色,或观看人工智能对人工智能,然后复盘评委对定义、证据和反驳的反馈。

试用 AI Debate Arena