
是石科技成功适配华为CANN框架及三款盘古大模型,1B模型端侧表现亮眼
近日,是石科技宣布完成对华为三款开源盘古大模型(1B、7B、718B MoE)的全面适配,基于华为升腾CANN框架在升腾910B和H20芯片上以及端侧的部署取得突破性进展。测试数据显示,其在响应速度、计算效率及行业解决方案优化方面表现优异,充分展现了华为AI全栈技术的协同优势。
高效适配,性能全面提升
依托CANN的异构计算架构,模型推理效率得到了显着的提升。 openPangu-Embedded-1B 模型是一个专为端侧设备运行设计的高效语言模型,它采用了26层Dense架构,并训练了约10T tokens。该模型在保持端侧运行要求的同时,能够达到较高的精度。测试结果表明,在Atlas 200I A2设备上的推理速度提升超30%,满足工业级实时交互需求。另外,7B模型在H20芯片上的适配也有亮眼表现,单卡推理效率较传统方案提升约25%,大幅降低企业部署成本。
针对超大规模718B MoE模型,是石科技充分利用CANN的动态负载均衡与混合精度计算能力,在升腾910B平台和H20集群上实现了高效并行推理。优化后的稀疏化专家模块激活效率显着优于传统稠密模型,响应速度提升40%以上,同时保持高精度输出,为AI大模型的高效落地提供了可靠支持。
行业解决方案优势显著
是石科技大模型解决方案专家戴嘉冀表示,基于CANN框架的开放性和灵活性,在完成本次华为开源模型的基础部署和调优后,未来可为金融、高端制造、医疗等行业提供端到端AI解决方案。例如:
金融领域:7B模型通过CANN算子优化,实现毫秒级实时风控分析,大幅提升业务响应效率。
高端制造:1B模型的端侧部署降低了设备算力需求,助力工业质检、预测性维护等场景快速落地。
医疗健康:718B MoE模型的强大推理能力在医学影像分析、辅助诊断等应用中展现出显着优势。
展望未来
华为升腾CANN的全面开源为是石科技等合作伙伴提供了更强大的底层技术支持,升腾910B与H20的卓越性能进一步夯实了国产AI技术的竞争力,覆盖集群和端侧等不同算力需求的模型保障了场景的适配。未来,是石科技将继续深化与华为的合作,在AI、金融、高端制造、医疗健康等领域探索更多创新应用,推动国产AI生态的繁荣发展。
此次成功适配不仅验证了华为升腾“芯片+框架+模型”全栈技术的协同价值,也彰显了是石科技在AI落地应用中的技术实力。随着CANN生态的持续完善,是石科技的国产AI解决方案将加速迈向规模化商用,为千行万业的智能化升级注入强劲动力。