Kimi视觉思考模型k1发布:数理化超越OpenAI o1、GPT-4o
今日,月之暗面国产大模型Kimi发布视觉思考模型k1,k1基于强化学习技术打造,原生支持端到端图像理解和思维链技术,并将能力扩展到数学之外的更多基础科学领域。
k1已陆续上线最新版Kimi智能助手的Android和iPhone APP以及网页版kimi.com。
在最新版手机APP或网页版Kimi+页面找到Kimi视觉思考版,即可拍照或传图体验。
据了解,在数学、物理、化学等基础科学学科的基准能力测试中,初代k1模型的表现超过了全球标杆模型OpenAI o1、GPT-4o以及Claude 3.5 Sonnet。
官方表示,K1模型真正意义上实现了端到端的图像理解和思考能力,模型可以直接处理用户输入的图像信息并进行思考得出答案,不需要借助外部的OCR或额外视觉模型进行信息处理。
从模型训练的角度看,k1的训练分为两个阶段,先通过预训练得到基础模型,再在基础模型上进行强化学习后训练。
k1的基础模型重点优化了字符识别能力,在OCRBench上得到903分的当前最好(state-of-the-art)结果,在MathVista-testmini、MMMU-val 和DocVQA基准测试集上分数分别为69.1、66.7和96.9,处于全球第一梯队水平。
据介绍,k1的强化学习后训练在数据质量和学习效率方面做了进一步优化,在强化学习的规模化(scaling)上取得了新的突破,这是k1视觉推理模型在基准测试中取得行业领先成绩的最关键原因。
月之暗面坦言,在内部测试中也发现了一些k1视觉思考模型存在的局限性,例如在分布外(out-of-distribution)的泛化、在更复杂问题上的成功率、在更多噪声场景的准确率、多轮问答效果等方面,有很大提升空间。
在一些场景和泛化能力上,k1模型与OpenAI的o1系列模型相比仍有差距。