随着多模态AI技术的快速发展，音频作为核心感知模态的重要性日益凸显。语音交互的真实场景中，语义理解不仅受文本内容影响，更需解析语调韵律、情感倾向、节奏停顿等声学特征，同时还需克服背景噪音、说话人特征等复杂环境干扰。尽管以ChatGPT、DeepSeek为代表的通用大模型在文本理解层面已接近人类水平，但面对真实语音场景的意图解析仍存在显著技术鸿沟。针对这一痛点，是石科技联合香港中文大学（深圳）王本友教授团队推出了Soundwave模型，兼具高性能和高适配性，满足多设备、多场景部署的需求。
Soundwave的训练过程
是石科技与香港中文大学（深圳）王本友教授团队通过创新的"三阶段渐进式训练框架"：语音与文本对齐、语音特征压缩、监督微调，分别解决了语音与文本的表示空间差距和序列长度不一致性问题，使得模型能够更高效地学习语音理解和对齐能力。并且依托是石科技强大的算力集群支撑下，仅用10k小时的数据，Soundwave便展现出卓越的性能，这一成就源于自主研发的对抗性多任务学习架构与高效计算资源的协同优化。
Soundwave和Qwen2-Audio在AIR-Bench上的表现
在多个语音识别领域的测试集中，Soundwave展现出领先的优异表现。在语音翻译（Speech Translation）任务上，力压Qwen2-Audio，表现出强大且精准的翻译能力，无论是复杂句式的转换，还是生僻词汇的解读，都能处理得游刃有余，为跨语言交流搭建起高效桥梁；在语音情绪识别（Speech Emotion Recognition）任务中，能够精准剖析语音中的情感脉络，为情感分析领域提供了极具价值的技术支撑；在Zero-shot任务方面，即便在训练过程中从未接触过特定语言对的翻译，Soundwave依然展现出强劲实力。它能够凭借自身先进算法和学习能力，迅速适应新的语言组合，高效完成语言间的转换工作，打破语言壁垒，彰显出非凡的泛化能力与应用潜力。
在基础任务上的性能表现，这些任务包括自动语音识别（ASR）、语音翻译（ST）、语音情感识别（SER）、发声分类（VSC）。其中*表示zero-shot任务。
同时Soundwave具备强大问答（QA）功能。面对语音指令，它能精准识别其中细节，无论指令来自嘈杂环境，还是带有口音或表述模糊，都能把握核心诉求。凭借高速运算内核与庞大知识图谱，Soundwave能快速完成逻辑推导与信息整合。在科技、教育、财经、医疗、日常生活中，为用户提供全方位智能问答支持，满足多样化需求。今后Soundwave 将持续优化语音理解能力，推动语音 AI 在更多场景落地。
QA问答示例
未来，是石科技将持续升级算力基础设施，构建高效能计算集群与智能化资源调度体系，为千行百业的大模型研发与应用提供强劲引擎。通过优化异构算力协同能力与分布式训练效率，我们将加速教育医疗、工业仿真、多模态交互等场景的AI模型落地，赋能智能决策、自然语言处理及复杂任务执行，推动前沿技术向实际生产力的转化。是石科技致力于成为人工智能时代的算力基石，与合作伙伴共同推进技术普惠与产业升级。