近日，在中国人工智能产业发展联盟（AIIA）第十七次全体会议上，AIIA AI infra工作组大模型推理优化项目组联合是石科技等多家科研机构、技术企业、应用方编写的《大模型推理优化关键技术及应用实践研究报告》正式亮相。
会议期间，中国信息通信研究院平台与工程化部副主任董昊围绕报告核心内容，就推理优化的技术与产业发展发表了主题演讲。董昊指出，当前大模型已全面迈入推理时代。需求爆发、算力供给倾斜、成本严控三大因素正倒逼推理体系进行全链路深度优化。随着Agentic AI等新兴应用的快速推进，推理需求呈现爆发式增长，我国推理算力市场规模持续扩大，行业降本需求日益迫切——推理优化已成为大模型规模化落地的核心环节。
该报告系统总结了当前大模型推理面临的主要挑战、优化技术体系、落地成效及行业典型案例。作为国内AI infra的头部企业之一，是石科技近期推出了全栈自研的Token工厂推理生产平台，为行业提供从算力资源到标准化Token服务全链路优化的重磅产品。该平台以Token为统一交付单位，通过GPU算力集群、智驭调度平台与推理服务三层架构，将算力转化为标准化API服务；同时具备高性能推理、精细计量计费、多租户隔离与私有化部署能力，帮助企业实现降本增效与数据安全合规。
大模型推理优化技术正从头部企业向金融、能源、医疗等行业快速渗透，成为产业数字化转型的重要支撑。随着技术持续成熟，推理效率不断提升、成本稳步下降，将有力推动大模型普惠化落地，为人工智能产业高质量发展注入持久动力。