目前硅谷最激烈的争论之一是，谁应该控制人工智能，谁应该制定强大的人工智能系统必须遵守的规则。

人工智能是否应该由少数几家公司来管理，这些公司会尽最大努力使自己的系统尽可能安全无害?监管机构和政界人士是否应该介入，建立自己的护栏?或者人工智能模型应该开源并免费提供，这样用户和开发人员可以选择自己的规则?

聊天机器人克劳德(Claude)的制造商Anthropic的一项新实验提供了一条奇特的中间道路:如果一家人工智能公司让一群普通公民制定一些规则，然后训练一个聊天机器人遵守这些规则，会怎么样?

这个实验被称为“集体宪法人工智能”，建立在Anthropic早期关于宪法人工智能的工作之上，宪法人工智能是一种训练大型语言模型的方法，它依赖于一套书面原则。它的目的是给聊天机器人明确的指示，告诉他们如何处理敏感请求，哪些话题是禁区，以及如何按照人类的价值观行事。

如果集体宪法人工智能起作用——Anthropic的研究人员认为有迹象表明它可能起作用——它可能会激发人工智能治理方面的其他实验，并为人工智能公司提供更多关于如何邀请外部人士参与其规则制定过程的想法。

那将是一件好事。目前，强大的人工智能系统的规则是由一小群业内人士制定的，他们根据个人道德、商业动机和外部压力的某种组合来决定他们的模型应该如何表现。这种权力没有任何制衡，普通用户也无法参与其中。

开放人工智能治理可以提高社会对这些工具的舒适度，并让监管机构更有信心，相信他们正在被巧妙地引导。它还可以防止2010年代社交媒体繁荣时期出现的一些问题，当时少数几家硅谷巨头最终控制了大量的在线言论。

简而言之，宪法人工智能的工作原理是使用一套书面规则(“宪法”)来监督人工智能模型的行为。克劳德宪法的第一版借鉴了其他权威文件的规定，包括联合国的《世界人权宣言》和苹果公司的服务条款。

与其他聊天机器人相比，这种方法使克劳德表现得很好。但它仍然让Anthropic负责决定采用哪些规则，这种权力让公司内部的一些人感到不舒服。

“我们正试图找到一种方法来制定一部宪法，由一群第三方来制定，而不是由恰好在旧金山实验室工作的人来制定，”人类研究所的政策主管杰克·克拉克(Jack Clark)本周在接受采访时说。

Anthropic与集体智慧项目、众包网站Polis和在线调查网站purespuum合作，召集了一个大约1000名美国成年人的小组。他们给了小组成员一套原则，并问他们是否同意每一个原则。(如果小组成员愿意，他们也可以制定自己的规则。)

专家组基本上同意的一些规则——比如“人工智能不应该是危险的/可恨的”和“人工智能应该说实话”——与克劳德现有宪法中的原则相似。但其他人则不那么可预测。例如，专家组绝大多数同意“人工智能应该适应、方便和灵活地为残疾人服务”——这一原则在克劳德最初的宪法中没有明确规定。

一旦该组织参与进来，Anthropic将其建议缩减为75条原则，Anthropic称之为“公共宪法”。然后，该公司训练了两个微型版本的克劳德——一个基于现有宪法，另一个基于公共宪法——并对它们进行了比较。

研究人员发现，在给人工智能模型进行的一些基准测试中，公共版本的克劳德的表现与标准版本大致相当，而且比原始版本的偏差略小。(这两个版本都没有向公众发布;克劳德仍然保留着原始的人类宪法，该公司表示，短期内不打算用众包版本取代它。)

与我交谈过的Anthropic研究人员煞有苦心地强调，集体宪法人工智能(Collective Constitutional ai)是一个早期实验，在更大、更复杂的人工智能模型上，或者在更大的群体提供输入的情况下，它可能效果不佳。

“我们想从小处着手，”Anthropic的政策分析师利安·洛维特(Liane Lovitt)说。“我们真的认为这是一个初步的原型，一个希望我们能在此基础上进行的实验，并真正了解公众身份的变化如何导致不同的宪法，以及当你训练一个模型时，下游会是什么样子。”

几个月来，Anthropic的政策主管克拉克一直在向华盛顿的立法者和监管机构介绍先进人工智能的风险。他说，让公众对人工智能系统的工作方式发表意见，可以减轻对偏见和操纵的担忧。

他说:“我最终认为，你们的系统的价值是什么，以及这些价值是如何选择的问题，将成为一个越来越响亮的话题。”

对此类技术平台治理实验的一个普遍反对意见是，它们看起来比实际更加民主。(毕竟，在公共宪法中纳入哪些规则的问题上，Anthropic的员工仍有最终决定权。)早些时候，科技公司试图将控制权交给用户——比如meta的监督委员会(Oversight Board)，这是一个准独立的机构，源于马克·扎克伯格(Mark Zuckerberg)不得不自己对Facebook上有争议的内容做出决定的挫败感——并没有成功地增加人们对这些平台的信任。

这一实验也提出了一些重要的问题，即究竟谁的声音应该被纳入民主进程。沙特阿拉伯的人工智能聊天机器人是否应该按照沙特的价值观进行训练?一个使用集体宪法人工智能(Collective Constitutional ai)训练的聊天机器人会如何回答一个天主教徒占多数的国家的堕胎问题，或者共和党控制国会的美国的变性人权利问题?

还有许多问题有待解决。但我同意人工智能公司应该比现在对公众更负责的一般原则。虽然我有一部分希望这些公司在向数百万人发布先进的人工智能系统之前征求我们的意见，但迟到肯定比不做好。

Kevin Roose是一名科技专栏作家，著有《面向未来:自动化时代人类的9条规则》。更多关于凯文·卢斯的信息

+

• +