IDC发布2024大模型评估报告:百度唯一一家7大维度入选优势厂商

6月12日,国际数据公司IDC发布《中国大模型市场主流产品评估,2024》,从基础能力到应用能力7大维度对11家大模型厂商的16款市场主流产品进行实测。

结果显示,百度位于第一梯队,是唯一一家在7大维度上均为优势厂商的企业。

百度旗下生成式AI产品文心一言和文心一格在问答理解类、推理类、创作表达类、数学类、代码类的基础能力,toC通用场景类、toB特定行业类的应用能力等7大维度均具备领先优势。其他评测厂商中,阿里获6项优势维度,OpenAI GPT-4和商汤分获5项。

IDC发布2024大模型评估报告:百度唯一一家7大维度入选优势厂商

IDC此次采取实测的方式,成立产品测试团队,通过多个维度对基础大模型及相关产品进行评测,并邀请外部专家团队深入分析各个产品答案准确性、合理性等,在审核委员会的监督下,最终得出各厂商的评估结果,供用户选型参考。

百度、OpenAI、阿里、商汤、科大讯飞、百川、智谱、昆仑万维等11家大模型厂商参与了本次评估。

IDC发布2024大模型评估报告:百度唯一一家7大维度入选优势厂商

在基础能力评测中,大模型产品在问答理解类、推理类和创作表达类的成熟度较高。百度文心大模型在当前关注度高的多模态、安全、文本风格迁移等细类评估中表现出色,体现出强大的基础模型能力。在数学类和代码类等考验模型逻辑、推理等能力的评测中,百度文心大模型同样表现优异,体现出强大的体系化思维、逻辑思维和抽象思维能力。在代码类所有6个细分维度中,百度均入围优势厂商。据了解,基于文心大模型百度研制了智能代码助手Comate,目前整体采纳率已达46%,新增代码中生成比例已达27%。

应用能力评测主要评估大模型产品在办公工具、生活助手等toC通用场景类和toB特定行业类的表现。评测结果显示,百度文心大模型在搜索、写邮件、文生图表等办公场景和衣食住行、生活服务、闲聊创意等生活助手场景中都具备优势。此外,文心大模型已经在能源、金融、媒体、医疗、通信、制造、交通、互联网等行业形成广泛的落地应用生态,通过大模型解决诸多场景的实际问题。

公开资料显示,2023年10月,文心大模型4.0正式发布,实现了基础模型的全面升级,在理解、生成、逻辑和记忆能力上明显提升。截至目前,文心一言累计用户规模已达2亿,日均调用量也达到了2亿。

IDC发布2024大模型评估报告:百度唯一一家7大维度入选优势厂商

此外报告显示,在行业落地上,百度智能云推出千帆大模型平台,以一站式企业级大模型开发及服务运行平台服务大众。2024年5月底,百度宣布文心大模型的两款主力模型ERNIE Speed、ERNIE Lite免费。截至目前,包括国家电网、浦发银行、中国航天、吉利、长安汽车、泰康保险、TCL、上海辞书出版社、荣耀、三星、蔚来汽车、南方电网、山东港、汽车之家、毕马威等都成为百度文心大模型的用户和合作伙伴。文心大模型已经拥有中国最广泛的产业落地规模。

IDC认为,从2024年二季度开始,中国市场迎来了一波基础大模型及产品的更新升级,新一轮的“百模大战”一触即发。IDC中国大模型产品测试团队表示,2024年产业界更加关注大模型和生成式AI的落地,技术供应商需持续优化生成质量,提高生成速度并降低大模型使用成本,加快大模型技术的应用与普及。