香港理工大学高等研究院 研究与创新公共论坛: 杨红霞教授主讲「DeepSeek及更远的未来」

讲座摘要

DeepSeek 最近的发布证明不需要特别大的模型也能实现很强的 AI 能力。他们做出的 AI 模型性能可以跟美国顶尖的 AI 相比，但用的计算资源却少很多。更重要的是，他们选择开源的方式分享技术。这个发现改变了大家对开发 AI 的认识，这也引发了大家对隐私安全、技术竞争等问题的思考。我们的生成式 AI（Co-GenAI）项目就想借鉴这种思路，帮助香港提升 AI 竞争力。我们的平台拥有三大创新特点。首先是领域适应持续预训练系统，它能让 AI 模型通过学习特定领域的数据（比如企业和科研领域）变得更专业，训练效果通常优于开源模型和 ChatGPT。其次是高级模型融合系统,它通过在现有专业模型上构建「融合」模型的方式，大大节省了计算资源——训练 7B 模型只需 64–128 张显卡，100B 大模型仅需 512–1024 张显卡，节省超过 90% 的资源。第三是节省资源的架构设计，让我们能够利用数码港、科学园和鹏城实验室等地的普通计算资源来开发 AI，通过组合小模型的方式高效训练大模型，避免了传统方法中需要大量相同高端显卡的问题。这种创新方法让 AI 开发变得更容易上手，不再需要超大规模的集中计算资源。这个项目有望帮助香港在全球生成式 AI 发展中占据重要地位。