人工智能在學習語言規則和模式時，展現出驚人的學習能力，超越了不少人的想像。不過，對於人文學院院長兼冼為堅基金人文與科技講座教授李平教授而言，最令他感興趣的，是找到一種更有效的大語言模型訓練方法，使人工智能能像人腦一樣運作，進一步提升處理語言的能力，並為人腦研究開拓新視野。

大語言模型是人工智能模型的一種。它預先獲取大量數據進行預訓練，進而生成類似人類語言的內容。由 OpenAI 開發的聊天機器人 ChatGPT，就是其中一個大語言模型的例子。

現有的大語言模型主要依賴 「上下文單詞預測」的方式進行預訓練，生成式人工智能平台也使用類似方式進行預訓練，訓練後的人工智能平台能夠處理語言，並按寫作提示生成文本、圖像、影片和其他數據。然而，單詞預測只是人腦處理語言的其中一種方式，人類還會整合自然語言理解中的高層次信息，例如詞語、句子及會話語境，從而全面理解語言內容。

句子比詞語效果更佳

由李平教授領導的理大研究團隊探討了運用「下一句子預測」（Next Sentence Prediction, NSP）的方式訓練大語言模型的效果。他們發現使用 NSP 訓練的大語言模型，相比單靠「上下文單詞預測」進行訓練的大語言模型，在多個方面更符合人腦活動，這是因為 NSP 任務要求大語言模型理解句子之間的關聯所致。此外，這些使用 NSP 訓練的改良模型與人類語義理解的神經模型亦非常吻合。

此項研究的結果不單有助研究人員運用 NSP 提升大語言模型的語義理解，幫助人工智能更接近人類的認知過程，同時在人腦對語言的運作方面提供了新見解，包括幫助科學家了解大腦如何理解語義，例如對話中的語義等。

促進人工智能和認知神經科學研究

李教授說：「我們的研究發現，像 NSP 這類多樣化的學習任務可以改進大語言模型，使其更接近人類，並有機會像人腦一樣，在不需要海量數據支援下高效能地運作。此項研究還能促進人工智能和認知神經科學領域的研究人員之間的互動與合作，進而推動未來以人工智能為導向的大腦研究，以及受人腦啟發的人工智能研究。」

李教授團隊的研究已在學術期刊 《Science Advances》上發表。

新研究中心協助訓練人工智能模型

訓練大型人工智能模型需要使用大量電子計算方面的資源。為回應這方面的大量需求，理大早前成立了「AI 大模型研究中心」（Centre for Large AI Models, CLAIM）。CLAIM 隸屬理大人工智能與數據科學研究中心，主要使命為向理大研究人員提供有效訓練人工智能模型的必要基礎設施，並促進人工智能研究和跨學科應用至藝術、科學、工程和其他領域，同時亦會在大學內積極推動人工智能技術共享。

李青教授

• AI大模型研究中心聯席主任

• 電子計算學系系主任兼數據科學講座教授

張磊教授

• AI大模型研究中心聯席主任

• 電子計算學系計算機視覺及圖像分析講座教授