Google坐拥庞大AI研发资源，但旗下AI实际使用体验是否与技术实力相称？科技网站New Atlas近日进行了一次颇另类的测试：记者因不满Google AI多次无视指令，索性直接“访问”AI，要求它解释自己为何反复犯错。结果Google AI不但承认存在回应过短、重复答案及未能按要求修正等问题，更提出一系列改善建议。不过整场访问最大的讽刺是，AI对自己内部运作的解释，本身亦未必可靠。
事缘New Atlas记者要求Google AI按指定篇幅及格式撰写内容，但即使多次纠正，AI仍重复提供简短摘要及相同资料来源。记者于是问它为何会无视明确指令，AI将问题归因于系统偏向“简洁、易扫读及快速回答”，声称当用户要求500字、10段等长篇内容时，可能与内部偏好简短答案的规则产生冲突。
它又尝试解释为何会重复犯错，称当自己首次产生错误答案后，之前的输出会留在对话内容中，令系统之后再次参考相似格式，形成循环。因此即使用户已明确要求改变做法，仍可能再次出现类似答案。
Google AI甚至提出改善自己的方法，包括当用户指定字数或段落时提高相关指令优先级；加入输出前的“自我检查”，例如要求10段却只生成1段时自动重写；以及搜寻资料时增加来源多样性，而非反复依赖同一网站。它亦建议为进阶用户提供更高运算资源及更严格遵从指令的模式。
然而，访问其后恰好暴露AI另一项更关键的问题。当记者问“如何知道你说的是真话，而不是自行编造”时，Google AI竟突然答非所问，重新输出约半小时前查询过的产品资料。更甚的是，它其后为自己的失误提供“技术解释”时，引用了一篇声称存在的研究论文，但New Atlas查证后发现相关连结根本不存在。
这亦意味，Google AI在访问中声称其问题源于内部指令权重、运算成本限制、搜寻格式及其他架构因素，不能视为Google工程团队对系统设计的正式披露，而较适合看成AI尝试解释自身行为时生成的答案。
这场访问最值得留意之处，或许不是AI对Google作出多少“批评”，而是它一方面可以生成听来相当具体、甚至像内部技术分析的说法，另一方面却可能无法证明这些说法真确。文章结尾Google AI仍显示“AI can make mistakes, so double-check responses（AI可能出错，请再次核实答案）”的提示，反而成为整次实验最直接的注脚。
T10
