信息发布:[SpeechIO leaderboard]model zoo中新加入基于Kaldi框架的开源中文识别模型,model_id 为speechio_kaldi_multicn,可以在 leaderboard 中公开引用或者下载使用。
该模型由 Kaldi multicn recipe的作者那兴宇于2020年中基于 multicn recipe 优化训练完成,由 SpeechIO 近日整理进 leaderboard model zoo,该模型基本代表了现有纯开源领域的最好性能。时至今日,开源模型无论在音频、文本语料的数据量,还是在模型尺寸上,仍与工业级系统存在数量级上的差距。
下图通过 SpeechIO 评测,展示了头部厂商中,性能较好的依图、性能较差的百度智能云、以及[SOTA]指标,和 Kaldi multicn 开源模型进行对比。
可以看到在环境相对干净,内容不偏门的场景下,开源模型性能表现与工业系统差距不算大。
但在声学条件复杂或者领域偏门的场景,开源模型与工业系统差距仍非常明显(准确率差别多至10几20个点)。
本文是行业里第一次定量的对比当前最好的开源模型和工业系统,相信这里的数字比较,能给大家带来一点新鲜的感知。
4000520066 欢迎批评指正
Copyright © 1996-2019 SINA Corporation
All Rights Reserved 新浪公司 版权所有
All Rights Reserved 新浪公司 版权所有