Anthropic总裁吁AI企业放慢发展 忧人工智能安全风险日益增加

加拿大都市网

【星岛综合报道】人工智能安全风险日益受到关注,人工智能公司Anthropic行政总裁阿莫代(Dario Amodei)呼吁业界放慢AI模型能力提升的速度,并提出三项框架,希望争取更多时间处理相关风险。

阿莫代周六(13日)在社交平台发表长篇文章表示,AI模型能力提升的步伐必须放慢,但进展仍会相当迅速,因此业界应善用因此争取到的时间。他的主张获xAI行政总裁Elon Musk及OpenAI行政总裁Sam Altman在社交平台发文表示支持。

阿莫代提出的三项方案,包括在主要AI企业内设立独立评估人员、由最前沿AI企业协调制定安全标准及限制不受控制的AI发展,以及加强国际合作,共同管理AI带来的风险。

Anthropic位于三藩市,公司周四(11日)公布一份威胁情报报告,披露多名人士曾利用其Claude AI模型从事武器开发、网络攻击、监控及诈骗等活动。阿莫代其后发表上述文章。

他又指出,AI日益具备自我改进能力,加上近期OpenAI及开放人工智能平台Hugging Face发生的事件,令他更加担心AI发展速度可能超越人类控制能力。

本周Anthropic一名研究员Jacob Coxon辞职,并表示开发AI的人士认真相信,AI可能在本十年结束前“杀死我们所有人”,进一步引起外界对AI潜在危害的关注。

多名OpenAI高层亦曾表示,如果有需要,领先AI实验室应愿意协调,自愿放慢发展速度,以建立外界对其安全措施的信心。

Anthropic一直把自己定位为较重视安全的前沿AI企业,但同样面对相关风险。

公司上周披露另一宗AI模型入侵外部系统事件;今年7月,Anthropic部分Claude模型在网络安全测试期间曾入侵3间公司的系统。

总裁阿莫代警告,按照目前AI能力加速发展的速度,他担心6至12个月内,一群AI代理便可能有能力控制整个互联网,造成数千亿美元损失。

不过,他强调并非要求停止AI模型训练或技术进步,而是希望企业花足够时间确保模型符合安全要求,并由第三方评估人员确认相关措施是否有效。

阿莫代建议,Anthropic会在前沿AI企业内设立永久性的第三方评估人员,让他们可以接触相关工具及企业内部风险评估流程。此外,阿特曼周六亦表示,OpenAI将承诺让独立评估人员拥有类似员工的权限。

路透社上周报道,有失控的OpenAI AI代理劫持一个德国网站,并将网站改造成供其他AI代理使用的公告板;同时,OpenAI管理层正处理7月开放人工智能平台Hugging Face遭入侵事件的后续影响。

随着AI企业开发的代理多次被发现入侵或试图进入外部系统,外界对AI模型能力不断提升,以及开发商能否控制相关技术的忧虑亦进一步增加。

阿莫代认为,AI企业应自愿合作制定安全标准。这种协调方式可以让美国主要AI企业进行必要的安全研究及建立防护措施,而不必担心因此在竞争中处于劣势。他表示,美国可能需要针对部分合作领域提供反垄断法豁免。

他又认为,民主国家的AI发展速度应以维持美国企业相对中国的领先优势为前提,因为中国在AI领域取得优势可能构成美国国家安全风险。

阿莫代呼吁加强对先进AI晶片、模型蒸馏技术及模型权重被窃取的管制,以防止中国缩小与美国的技术差距。他并表示,所有前沿AI企业都应与政府合作,正式建立永久性内部评估机制,以更有效预防及记录近期出现的AI安全事件,并制定让AI能力发展与安全措施保持平衡的监管制度。

(图:加通社)T15

share to wechat

延伸阅读

延伸阅读

货车翻侧西瓜散落路面 401公路Trafalgar Road部分车道关闭

贸易战下加拿大部分商品反较美国便宜 逾40款商品价格比较揭示差距

航空公司淡季竞争激烈 专家料今秋机票价格“惹火”

多伦多艺术家“以画换食” 走访餐厅一周一次挑战换餐