文心4.0在SuperBench评测中表现亮眼,多项指标领先
【捷维科技】4月23日消息,清华大学基础模型研究中心最近公布了2024年3月版的《SuperBench大模型综合能力评测报告》,该报告全面评估了14个在海内外具有影响力的模型。
在这份报告中,文心4.0的卓越表现引起了广泛关注。其整体性能已经接近了国际顶级模型,且正逐步缩小与全球领先模型的差距,显然已经成为了国内领先的模型。
在人类对齐能力的评测中,文心4.0展现了出色的实力,毫无争议地位居国内首位。同时,在中文推理和中文语言能力的评测中,文心4.0也是一骑绝尘,与其他模型相比,其优势十分明显。特别在中文理解的评测环节,文心4.0的得分比第二名的GLM-4高出了0.41分,显示了其在中文处理上的深厚功底。
此外,在语义理解的数学能力评测中,文心4.0与Claude-3模型并列全球首位,而知名的的GPT-4系列模型则紧随其后,位列第四和第五。其他模型的得分大多集中在55分左右,与领先群体存在显著的差距。
在阅读理解能力的评测中,文心4.0同样大放异彩。它不仅超越了GPT-4 Turbo和Claude-3,还超越了GLM-4,斩获了最高分。
据捷维科技了解,在企业最为关注的安全性评测中,文心4.0也展现出了卓越的性能。它以89.1分的高分超越了国际一流的GPT-4系列模型和Claude-3,位列第一,而Claude-3在这次评测中仅排在第四位。
报告还提到,自去年3月16日文心一言首次公开亮相以来,其在短短的时间内就实现了用户数量的突破,目前已经超过了2亿用户。同时,每天的API调用量也异常活跃,已经超过了2亿次。