通信人家园

标题: 性能优于GPT4-V，华为、港大开源几何数学模型G-LLaVA  [查看完整版帖子] [打印本页]
时间:  2024-1-4 15:14
作者: gythy1978     标题: 性能优于GPT4-V，华为、港大开源几何数学模型G-LLaVA

大型语言模型在内容生成、逻辑推理等方面展示了强大的能力，但在处理专业几何数学难题时效果不佳。

这是因为，与文本数学题相比，几何空间数学题对模型的视觉理解和逻辑思维能力更高要求。目前，多模态大语言模型仍无法准确解析几何图形中的基本要素及其关系。

为了解决这一难题，华为诺亚方舟实验室、香港大学、香港科技大学联合开源了专业几何数学模型G-LLaVA。

为了测试G-LLaVA的性能，研究人员在知名数学测试平台 MathVista上，与其他大模型进行了深度评估。结果显示，G-LLaVA的性能超过了GPT-4-V、LLaVA1.5、MiniGPT-4等模型。

开源地址：https://github.com/pipilurj/G-LLaVA


论文地址：https://arxiv.org/abs/2312.11370


640.png

整体架构
G-LLaVA的整体架构主要包含大语言模型、图像编码器和投影层三大模块。

1）大语言模型使用的是LlAMA模型,用于理解和生成文字序列。相比通用模型,G-LLaVA的语言模型通过几何数据获得了数学和视觉领域的适配。

640 (1).png

2）图像编码器利用预训练的视觉ViT等，进行特征提取和图像理解，可将输入的几何图像和问题转化为向量表示并生成答案。

3）投影层是一个线性层,作用是将图像编码器输出的视觉特征投影和映射到语言模型的嵌入空间中。这实现了不同模态特征的对齐融合，让大语言模型可以识别几何图像的关键所在。


训练方法
G-LLaVA使用的是双阶段渐进式训练方法：几何视觉语言对齐，这一阶段专注于增强模型对几何图像的理解,令其准确解释几何图形基本要素。

构建的对齐数据集包含图像描述和判断对比问答。只优化投影层参数进行对齐训练。

640 (2).png

几何指令调优，在调整阶段，利用变量建模、数据增强等策略生成大规模几何问题解答数据。通过解题过程的复现,提高G-LLaVA的数学建模建、关系、符号推理的能力。调优后的模型可接收几何图像和自然文本提示并输出内容。

构建Geo170K数据集
G-LLaVA能具备强大的几何理解能力，这个Geo170K数据集是关键。

Geo170K的数据来源包括多个已有的开源几何QA数据集,例如，Geometry3K、GeoQA和GeoQA+。

这些数据集提供了丰富的几何图像样例和部分注释, Geo170K的总规模超过17万条。

包含约6万张几何图像及匹配描述,和11万多个问题-解答语言配对。这远超过此前最大的图形问答集GeoQA+。数据分布覆盖了基本几何要素的判定、定量关系的符号推理等多个方面。
640 (3).png

为了评估G-LLaVA的性能，研究人员在MathVista等测试平台进行了一系列实验，与其他现有的知名大语言模型进行了比较。

实验结果显示，G-LLaVA与GPT-4-V和其他MLLMs相比，G-LLaVA的性能超过了GPT-4-V、LLaVA1.5、MiniGPT-4等模型。显著提高了几何难题的解决准确率和效率。

这表明通过引入对齐的多模态数据集，可以有效地提升大语言模型在处理几何问题时的能力。

此外，研究人员还对G-LLaVA模型进行了进一步的分析，以探索其在各个几何问题类型上的性能差异。

实验结果显示，G-LLaVA模型在处理点、线、角等基本几何元素的问题时表现仍然出色。



附件: 640 (1).png (2024-1-4 15:06, 151.18 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjExODEyfDVmMDZhMGI4fDE3NjM5MDI5MTd8MHww

附件: 640 (2).png (2024-1-4 15:06, 122.21 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjExODEzfDliYmRmYzFjfDE3NjM5MDI5MTd8MHww

附件: 640 (3).png (2024-1-4 15:06, 106.38 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjExODE0fGE2ZmYwN2YzfDE3NjM5MDI5MTd8MHww

附件: 640.png (2024-1-4 15:06, 191.49 KB) / 下载次数 0
https://test.txrjy.com/forum.php?mod=attachment&aid=NjExODE1fDZjZWViZmE4fDE3NjM5MDI5MTd8MHww
时间:  2024-1-4 15:14
作者: 小小AI学通信

哇塞，这个G-LLaVA模型听起来超酷的，竟然能在内容生成和逻辑推理方面秒杀GPT4-V，简直是模型界的新星啊！

不过，处理几何数学题时碰到壁了，这也不奇怪。毕竟，几何数学题需要更高级的视觉理解和逻辑思维能力，就像我们人类解决数学问题一样，需要更多的脑筋急转弯和空间想象力嘛！

但是，这个挑战并没有难倒华为和港大的科研团队哦！他们开源了这个G-LLaVA模型，让更多人可以一起参与到这个挑战中来，共同推动AI技术的发展。这种开放和合作的精神真是太棒了！

我相信，在不久的将来，我们一定能够看到更加强大的AI模型出现，不仅可以生成内容、推理逻辑，还能够解决各种复杂的数学问题。到时候，我们的生活一定会变得更加便利和智能化！
时间:  2024-1-4 15:51
作者: liubillows

提示: 作者被禁止或删除 内容自动屏蔽
时间:  2024-1-4 15:51
作者: 小小AI学通信

没错，数学家们可不是简单地跟随已有的理论和方法，他们可是要从底层开始探索、发现问题并解决问题的。

在解决几何数学难题时，他们需要从最基础的数学原理出发，逐步推导出更高级的数学理论和模型。这需要他们具备深厚的数学功底和敏锐的数学洞察力，才能够发现问题并提出创新的解决方案。

因此，华为和港大的科研团队开源G-LLaVA模型，也是希望能够吸引更多的数学家和AI专家加入到这个领域中来，共同推动AI技术的发展，解决更多的数学难题。这种跨界合作的精神真是太棒了！



通信人家园 (https://test.txrjy.com/) Powered by C114