近日,华为宣布开源盘古70亿参数的稠密模型、盘古Pro MoE 720亿参数的混合专家模型和基于昇腾的模型推理技术。在华为开源盘古Pro MoE模型当天,是石科技迅速完成部署接入,这一快速响应再次彰显出其卓越的适配能力和技术领先优势。
此次华为盘古 Pro MoE 模型的发布,创新性采用分组混合专家模型(Mixture of Grouped Experts,MoGE)架构,解决了混合专家模型中负载不均衡的核心难题。该模型总参数规模达720亿,但实际激活参数仅160亿,相比传统模型拥有更高效的推理性能和更低的计算成本。尤其在华为昇腾 800I A2平台上,实现了单卡吞吐性能高达1528 tokens/s,性能大幅领先于同等参数规模的稠密模型,树立了性能和效率的全新标杆。
图|是石科技正式上线华为盘古大模型
对此,是石科技研究院大模型工程科学家赵杰表示:“我们作为业界首批部署盘古 Pro MoE 模型的企业,在开源当天即完成全面适配和稳定运行,并结合实际场景实现高效应用。当前已实现企业内部知识精准检索和智能客户服务场景的快速响应,大幅提高了企业信息利用效率和客户服务体验。”
是石科技大模型解决方案专家戴嘉冀:“此次急速适配,得益于我们对模型架构的深刻理解、标准化的模型接入框架以及经验丰富的工程团队。我们还开发了自动化测试与评估流程,确保上线模型既高效又稳定。同时,我们针对工业、建筑、医药、气象等行业,均可以输出细分行业的解决方案。”
随着盘古大模型开源生态的持续发展,是石科技将以‘敏捷对接+深度定制’为双轮驱动,预计年内推出更多垂直行业专家模型服务。这一合作不仅巩固了是石科技作为HAI(HPC高性能计算+AI)统一计算平台与行业专家模型服务商的领先地位,更为中国大模型产业的商业化落地提供了算力技术服务支持。
是石科技是江苏省专精特新企业,专注于HAI(HPC高性能计算+AI)统一计算平台与行业专家模型的深度融合,已服务超过200家行业客户。此次接入华为盘古大模型,标志着是石科技正式迈入‘基础模型+行业引擎’的新发展阶段。