上一篇
BlueLM-V-3B是什么?一文让你看懂BlueLM-V-3B的技术原理、主要功能、应用场景AtomThink是什么?一文让你看懂AtomThink的技术原理、主要功能、应用场景
AtomThink概述简介
AtomThink是中山大学、香港科技大学、上海交通大学、香港大学及华为诺亚方舟实验室的开发人员一起推出的多模态数学推理框架。框架基于构建长链的思维(CoT)引导多模态大型语言大模型(MLLMs)进行复杂推理,包含自动CoT注释引擎、原子步骤微调和多种搜索策略。AtomThink基于提升原子步骤的质量,显著增强MLLMs在解决数学问题时的推理能力,为开发通用的慢思维模型提供新的方向。
AtomThink的功能特色
CoT注释引擎:自动生成高质量的链式思考(Chain-of-Thought,CoT)注释,解决视觉数学数据质量不足的问题。
原子步骤微调策略:联合优化多模态大型语言大模型(MLLM)和策略奖励模型(Policy Reward Model,PRM),实现逐步推理。
搜索策略:提供四种不同的搜索策略,与PRM结合使用,完成复杂的推理任务。
数据集构建:提出AtomMATH,一个大规模多模态数据集,包含长CoTs,用在训练和评估模型。
原子能力评估:设计一种基于结果监督的原子能力评估方法,评估MLLMs在生成每种原子步骤时的能力。
AtomThink的技术原理
慢思考框架:AtomThink框架的核心思想是“慢思考”,基于逐步构建长CoT指导MLLMs进行复杂推理,不依赖于快速直接的预测。
动态提示策略:基于动态提示策略,驱动MLLMs迭代构建状态推理路径,每个路径节点代表一个推理步骤,包括前一阶段、当前状态和可能的行动。
短CoT增强:基于LLMs将现有的短CoT注释语义分割成多个离散步骤,专注于解决推理过程中的单个原子问题。
多模态数据集:从多个数据源采样数学数据,基于动态提示和短CoT增强生成多步骤推理路径,构建AtomMATH数据集。
原子步骤微调:在AtomMATH数据集上进行微调,让MLLM能学习基于原子步骤的推理模式。
AtomThink项目介绍
GitHub仓库:https://github.com/Quinn777/AtomThink
arXiv技术论文:https://arxiv.org/pdf/2411.11930
AtomThink能做什么?
教育辅助:作为智能辅导系统,为学生提供数学问题的逐步解答和解释。
自动化测试与评估:在在线考试系统中自动生成和评分数学试题。
学术研究:辅助研究者探索和解决复杂的数学问题。
软件开发:帮助开发者自动生成和调试数学计算相关的代码。
智能客服和技术支持:在需要数学计算或推理的客服场景中提供支持。
-
CHANGER是什么?一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05
-
Kiroku是什么?一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么?一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么?一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么?一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么?一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。







