近日,为破解“卡脖子”技术难题,形成具有原创性、引领性、核心竞争力的新技术和新产品,盐城超算中心与苏州大学正式达成战略合作,共建“苏州大学-盐城超算中心国产自研大语言模型产业技术创新中心”。双方合作提供资源和技术支持,联合研发不小于100亿参数的中英文预训练通用大模型,充分利用高校在技术创新研究上的软实力,以及超算中心的算力基础和产业化优势,实现国产自研大语言模型产业技术创新领域的跨越式发展。
此次合作,苏州大学与盐城超算中心将围绕国家战略方向,开展人工智能等领域的基础性、前瞻性产业技术研究;充分发挥产研合作优势,共同探索产研融合一体化创新体系,培养“新计算机科学”人才。
依托学科技术优势与核心团队实力,苏州大学团队具备深厚的技术创新经验积累。围绕大模型领域,团队发表了大量的世界高水平论文和专利,其中顶会顶刊投稿一年数量高达20-30篇,应用研究的难度高、跨度大,在细节技术上基本对标业界科技巨头的最高水准。同时,团队成员拥有丰富的自然语言处理研究经验,在计算机科学领域的学术组织力、人才凝聚力、创新引领力、国际影响力都有着显著地位。
在此基础上,苏州大学团队能够快速、高质量地完成复杂的自然语言处理和大模型训练工作。如今在盐城超算中心的加速下,传统的训练模式和速度更是实现了巨大的跨越。
在此基础上,苏州大学团队能够快速、高质量地完成复杂的自然语言处理和大模型训练工作。如今在盐城超算中心的加速下,传统的训练模式和速度更是实现了巨大的跨越。
基于该联合实验室,盐城超算中心和苏大团队各自担负着不同的责任,以共同推进大模型相关技术的研发和应用。
盐城超算中心主要负责:
(1) 大模型算力联调及软硬件适配;
(2) 国产自研大语言模型并行优化策略;
(3) 大语言模型训练性能瓶颈分析及硬件环境优化;
(4) 应用任务需求和任务整理。
苏大团队主要负责:
(1) 大模型数据收集与准备,方案设计;
(2) 大模型高效稳定预训练技术,
(3) 大模型的评测方案设计;
(4) 大模型安全鲁棒技术研发;
(5) 大模型应用增强技术研发。
通过合作分工的明确,双方将各自发挥优势,持续推动先进技术研发及产业化,深化合作层次,拓宽合作领域,创新合作模式,充分发挥双方技术、人才、资源优势,在产研协同创新、高层次人才联合培养等方面开展深度合作,打造“校企合作、创新发展、合作共赢”的典范。