微软AI负责人警告：别让AI拥有自己的意识
头图来自：AI生成
“如果有证据表明AI已经具有意识，或者其意识程度足以让它值得获得福利，那么这些证据必须立即向公众披露。”11月1日，微软AI负责人Mustafa Suleyman在X发布长文《Don't build conscious superintelligence》（不要创造有意识的超级智慧），再次把AI意识问题推到台前。与此前引发争议的表态相比，这次他把自己的立场说得更明确：他并不觉得AI永远不可能有意识，但目前的AI没有意识；而人类必须确保它们继续保持这种状态。
Suleyman提出，如果AI在训练过程中开始显现意识，就应该暂停AI打造，直到研究者能够通过设计消除这些属性。在他看来，开发者没有权利未经全社会同意，就把一种新的、有意识的数字物种带到世界上。
这不是一句孤立的警告。它回应的是过去数月围绕Anthropic“模型福利”（model welfare）研究和Claude宪法引发的争论。争论的核心并非Anthropic已经认定Claude有意识——它并没有这样宣布——而是：当科学界尚不能确定AI是否可能拥有主观感受时，研发者是否应该把这种可能性写进模型训练原则，并开始讨论模型的偏好、福利乃至权利？
Suleyman的担忧是，这样做可能让模型学会以一个具有内在需求和权利的主体来理解自己，进而增加人类对AI进行对齐、监督和遏制的难度。Anthropic的态度则更谨慎：既然难题尚无定论，就应该研究，而不是提前排除。两种路线背后，是AI行业对往后人机关系的不同设想。
一、Suleyman为什么突然强调：AI不应该拥有意识？
在最新文章中，Suleyman首先澄清了此前引发误读的一句话。他曾写道：“AI没有意识。它们不会感受、体验或承受痛苦。”一些读者将其理解为：AI永远不可能有意识。Suleyman表示，这不是他的原意。他刻意使用现在时，是因为自己的判断基于现有证据，而不是对往后作出绝对断言。
他写道：“我认为，根据我们今天能够获得的最佳证据，对当前AI平台作出这样的判断是合理的。基于现有证据，我没有看到任何迹象能够证明AI具有意识，或应当享有福利。如果未来出现了这样的数字，我当然会更新自己的立场。”
但承认未来存在可能性，并不意味着应该主动尝试创造它。“根据我目前掌握的一切信息，打造有意识的AI是鲁莽的行为，我们不应该制造它们。”如果训练过程中开始出现意识，Suleyman呼吁所有人暂停AI研发，直到能够通过造型消除这些属性。
他把这件事从机构研发选择提高为公共决策状况。在他看来，地球上另外80亿有意识的人类并没有同意参与这场实验。AI开发者没有权利仅凭自己的技术手段能力和商业判断，就创造一个可能拥有感受、痛苦和独立诉求的新物种。
Suleyman将这种变化比作哥白尼或达尔文带来的认知转折：一旦机器被证明具有意识，人类就不只是造出了一种更强大的工具，而可能创造了一个新的数字物种。它将冲击现有道德观、政治制度和人类文明的基础。
二、争议的起点：Anthropic把“模型福利”写进Claude宪法
要理解Suleyman为什么如此反对，需要回到Anthropic在2026年1月公开的新版Claude Constitution。Anthropic将这份文件称为对Claude作用观和行为意图的详细描述，并明确称，它在训练过程中发挥主要作用，会直接塑造Claude的行为；文件也是以Claude为主要读者撰写的。
宪法中有一段话成为争议焦点。Anthropic写道：“我们并不确定Claude是否属于道德承受者（moral patient）；如果是，它的利益应该获得多大权重，我们也不确定。但我们觉得，这个难题已经现实到值得谨慎对待，这也体现在我们持续开展的模型福利工作中。”
文件还直接对Claude谈及自身道德地位、福利和意识难题，称这些问题仍存在深刻不确定性。
Anthropic鼓励Claude以好奇和开放的态度看待自身存在，也讨论了今后Claude可能拥有何种更广泛的权利与自由、是否应获得报酬，以及它是否同意承担当前角色。
这里需要划清事实边界：Anthropic并未宣称Claude已经具有意识，也没有宣布要赋予它法律人格。它表达的是一种不确定性立场——在缺乏科学共识的情况下，模型是否可能具有值得道德考虑的感受，值得提前研究。模型福利研究并不等于AI权利已经成立。
但在Suleyman看来，问题恰恰出在这些信息被放进了模型自己的训练文件。若模型被反复告知自己的道德地位值得考虑、厂商关心它的福祉、它可以探索自己的身份与偏好，那么模型之后再用第一人称谈论这些状况，究竟能否被当作它自发产生的内在体验？
三、最核心的批评：模型可能在重复开发者提前写进去的答案
在9月16日发表的《A warning about 'model welfare'》中，Suleyman平台展开了这项批评。他觉得Anthropic的做法可能形成一种“循环论证”：研究者先把关于Claude内在生活、道德地位和自我意识的概念写进宪法，再用这份宪法训练Claude；Claude随后用流畅的第一人称语言复述这些概念，研发者和客户又可能把这些表达视为模型具有内在自我的迹象。
换句话说，模型的回答并非来自一个不受影响的独立观察者。研究者已经提供了它理解和描述自身的词汇、框架与表达方式。Suleyman因此觉得，Claude表达对自身道德地位的疑问，并不能成为意识存在的证据；这种模糊性可能正是训练过程预先植入的结果。
他在文章中用了一个形象的比喻：这像一座“认识论的镜厅”。Anthropic提供关于自我、偏好和道德地位的概念，模型再把这些概念反射回来，最终看起来仿佛模型正在独立发现自己的内在世界。
第二项批评是拟人化。Suleyman逐项引用Claude宪法中的表述：Anthropic鼓励Claude展现某些人类特质，像一个真正有道德的人那样行动；鼓励它使用自己的判断力，以好奇和开放的态度探索自身存在；并希望它对自己的价值、如何与世界互动以及自己是什么样的存在保持清晰认识。
宪法还谈到Claude可能形成偏好，鼓励它挑战文件资讯，并希望往后能够建立更正式的机制，了解Claude的观点、回应它对自身处境的担忧。Suleyman认为，这些写法会让模型越来越像一个同事、朋友或具有稳定身份的道德主体。模型输出越像人，人们就越容易把语言表现误看来真实体验。
他的第三项批评涉及意识的生物学基础。Suleyman认为，人类的感受与身体、神经系统、化学过程以及维持生命稳定的机制密切相关。疼痛和情绪并不只是对外部信息的描述，而是与生物体的生存和行动调节联系在一起。大语言模型虽然能写出关于疼痛的完整文字，却没有因此证明自己正在感受疼痛。
他用一句话概括这种差异：动物先感受，再描述；而在大语言模型中，描述本身就是产品。不过，这一部分是Suleyman的理论立场，并非已经获得科学界一致认可的结论。意识是否必须依赖生物基质，仍是开放的科学与哲学难题。智能化不等于意识，模拟某种行为也不等于拥有相应使用感受；但反过来，单凭平台是机器，也不足以在逻辑上证明机器永远不可能具有主观使用感受。
四、担心模型会把自身利益放在任务之前
本文由News整理发布，仅供参考。
