理大重塑 AI 训练范式 大幅降低成本并普及研究

香港理工大学（理大）人工智能高等研究院（PAAI）研究团队在生成式人工智能（GenAI）领域取得多项关键技术突破。团队创新提出「协作式生成人工智能（Co-Generative AI）」模式，将 AI 训练从传统集中式转向分布式，不仅大幅降低训练成本、保障数据隐私，更打破资源壁垒，让全球更多研究机构得以参与 AI 研发，为全球人工智能创新注入强劲动力。

当前，GenAI领域面临三重核心制约：基础模型训练需耗费巨量计算资源，仅少数机构可以负担，导致学术界难以直接参与基础模型的训练、领域专属知识与数据无法融入模型；隐私保护与版权归属问题使医疗、金融等敏感数据难以用于训练；基础模型难以及时吸收新知识，每次重新训练需「天文数字级」资源，严重阻碍技术迭代。针对这些痛点，理大 PAAI 团队从「低成本训练」与「分布式融合」两大方向展开攻关，在理论证明和应用落地方面取得突破性成果。

理大成为业界首个开源发布「端到端FP8低比特训练全套方案」（涵盖预训练及后训练）的大学团队，该技术打破全球基础模型以BF16精度训练的主流格局，是全球少数掌握该核心技术的研究团队之一。与BF16相比，FP8核心优势体现在多方面：训练速度提高逾两成、显存峰值占用减少逾一成、成本大幅下降；整合「持续预训练」、「监督式微调」和「强化学习」，训练效果媲美BF16模型且训练时间和显存占用进一步压缩。团队已启动更低成本的FP4精度训练探索，相关成果已发表于学术论文¹；经测试，其在医疗的诊断和推理上超过目前业界发布同等尺寸最优模型领域²；在科研智慧体领域（Research Agent）中的任务复杂度，泛化能力和生成报告质量上均取得重大突破³。

传统基础模型遵循「缩放定律」（参数越多、知识越广、性能越强），但集中式训练需耗费百万计GPU小时，仅少数机构可以负担。理大团队研发的「InfiFusion模型融合技术」则实现关键突破：仅需数百GPU小时，即可融合出传统需100万至200万GPU小时训练的大模型；团队更以实例验证效率 —— 用160个GPU小时完成4个尖端模型融合^4-5，不仅避免了单个尖端模型传统训练需要的百万计GPU小时，且融合后模型在多项权威测试中性能显著优于原始模型。

此外，这项由Thinking Machines Lab非常倡导模型融合的理念，被理大团队首次从理论上验证了可行性。研究团队通过严谨的数学推导，提出了「模型融合缩放定律」（Model Merging Scaling Law），这意味着通往通用人工智能（AGI）可能还有另一条途径^６。理大 PAAI 执行院长、计算器及数学科学学院副院长（环球事务）及电子计算学系教授杨红霞教授指出：「以超低资源实现基础模型训练，加上高效模型融合，可助全球学术人员投入GenAI研究，汇聚更多力量创新。」

在技术落地层面，理大团队已取得多领域实质进展。医疗领域中，团队训练出性能领先的医疗基础大模型，并研发专属「癌症GenAI」—— 在同规模模型中性能最佳，可快速积累高质量医疗数据、直接对接医疗设备，用于癌症个性化治疗规划，目前正联合复旦大学附属华山医院、中山大学肿瘤防治中心、山东省肿瘤医院及香港伊利沙伯医院推动合作与临床落地。此外，团队在智能体AI（Agentic AI）领域亦有突破，该技术可作为研究生学术助手协助论文撰写与审阅，同时作为多模态专利检索引擎为创新研发提供高效支持。

理大高级副校长（研究及创新）赵汝恒教授表示：「人工智能是加速培育新质生产力的核心，理大新成立的PAAI致力加速人工智能技术在各个重点领域的深度融合，并针对不同行业开发具备专业领域知识的人工智能模型。此举不但能巩固理大在相关领域的领先地位，更将助力推动香港成为全球生成式人工智能发展的枢纽。」

杨红霞教授领导的研究项目分别获得研究资助局「2025/26年度主题研究计划」、香港特区政府创新科技署「产学研1+计划」及数码港「人工智能资助计划」资助，标志香港在全球AI创新领域迈出坚实步伐，为AI技术普惠化与产业落地注入新动能。

¹InfiR2: A Comprehensive FP8 Training Recipe for Reasoning-Enhanced Language Models,  https://arxiv.org/html/2509.22536v3

²InfiMed: Low-Resource Medical MLLMs with Advancing Understanding and Reasoning, https://arxiv.org/html/2505.23867

³InfiAgent: Self-Evolving Pyramid Agent Framework for Infinite Scenarios, https://arxiv.org/html/2509.22502

⁴InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion, https://arxiv.org/html/2505.13893

⁵InfiFPO: Implicit Model Fusion via Preference Optimization in Large Language Models, https://arxiv.org/abs/2505.13878

⁶Model Merging Scaling Laws in Large Language Models, https://arxiv.org/html/2509.24244

***完***