香港理工大學高等研究院 研究與創新公共論壇: 楊紅霞教授主講「DeepSeek及更遠的未來」

講座摘要

DeepSeek 最近的發布證明不需要特別大的模型也能實現很强的 AI 能力。他們做出的 AI 模型性能可以跟美國頂尖的 AI 相比，但用的計算資源卻少很多。更重要的是，他們選擇開源的方式分享技術。這個發現改變了大家對開發 AI 的認識，這也引發了大家對隱私安全、技術競爭等問題的思考。我們的生成式 AI（Co-GenAI）項目就想借鑒這種思路，幫助香港提升 AI 競爭力。我們的平臺擁有三大創新特點。首先是領域適應持續預訓練系統，它能讓 AI 模型通過學習特定領域的數據（比如企業和科研領域）變得更專業，訓練效果通常優於開源模型和 ChatGPT。其次是高級模型融合系統,它通過在現有專業模型上構建「融合」模型的方式，大大節省了計算資源——訓練 7B 模型只需 64–128 張顯卡，100B 大模型僅需 512–1024 張顯卡，節省超過 90% 的資源。第三是節省資源的架構設計，讓我們能夠利用數碼港、科學園和鵬城實驗室等地的普通計算資源來開發 AI，通過組合小模型的方式高效訓練大模型，避免了傳統方法中需要大量相同高端顯卡的問題。這種創新方法讓 AI 開發變得更容易上手，不再需要超大規模的集中計算資源。這個項目有望幫助香港在全球生成式 AI 發展中佔據重要地位。