【加拿大都市網】 Alphabet旗下的人工智能研究公司DeepMind發佈了下一代「語言模型」,聲稱其閱讀理解的能力已接近一名高中生。
該公司表示,這款名為Gopher的語言模型能夠通過「學習 」大量在線文本,顯著提高其閱讀理解能力。
DeepMind聲稱,它的算法是一種「 超大語言模型」,擁有2800億個參數,這些參數是衡量規模和複雜性的指標。科技網站The Verge指出,這意味着它介於OpenAI的語言模型GPT-3 (1750億個參數)和微軟和NVIDIA的Megatron(5300億個參數)之間。
據一份聲明稱,這樣的系統可以讓我們「安全和有效地總結信息,提供專家建議,並通過自然語言遵循指令」。
根據DeepMind的報告,在一項測試中,該模型能夠在高中閱讀理解測試中獲得足夠高的分數,達到接近人類水平的表現。然而,它的數學和推理能力還有一些不足之處。
一般來說,參數越多越準確。但還有其他問題,比如一些閱讀理解和 不良刻板定型,儘管這些模型規模龐大,但事實證明它們更難克服。像Gopher這樣的算法,過去曾被用於數碼助理和翻譯等商業產品。DeepMind表示,在一項測試中,Gopher能夠以「驚人」的一致性水平與人類進行全面對話。
但DeepMind並不打算將其算法商業化。「這不是目前的重點,」DeepMind研究副總裁卡武庫格洛告訴《財富》雜誌。
有人批評DeepMind的算法重複了種族或性別定型(通常是這些算法所輸入文本的產物)。為此,DeepMind還發表了一篇報告,介紹研究人員為維護道德誠信所採取的步驟。例如,該團隊構建了一個名為「檢索增強轉換器」(retrieve – enhanced Transformer)的工具,這是一個巨大的兩萬億字的數據庫,用於交叉引用其來源。
但即便如此,DeepMind團隊承認,關於語言模型如何使「不良刻板印象」永久存在的研究仍處於早期階段。
圖片:Getty Images 、The Verge
T09