论文标题：FairCLIP: Harnessing Fairness in Vision-Language Learning
作者：Yan Luo Min Shi Muhammad Osama Khan Muhammad Muneeb Afzal等
期刊：CVPR 2025
email：yuhan.huang@whu.edu.cn
创作不易，恳请大家点赞收藏支持:)
引言
地质图是地质科学中的重要工具，它记录了地球表面和地下的岩层分布、结构关系等信息，在灾害检测、资源勘探和土木工程等领域具有广泛应用。然而，由于地质图的复杂性和专业性，目前的多模态大语言模型（MLLMs）在理解地质图方面表现欠佳。为了解决这一问题，Huang 等人提出了 PEACE 框架（Powering gEologic mAp holistiC undErstanding），并通过 GeoMap-Agent 和 GeoMap-Bench 进行全面的探索和验证。
本文将详细介绍这篇论文的核心内容，包括 GeoMap-Bench 基准的构建、GeoMap-Agent 的设计与实现、实验结果及其意义，并通过可视化图表直观展示关键数据。
1. 地质图简介及挑战
地质图以图形化方式展示地质特征，是地质学家研究地球历史、资源分布和自然灾害的重要工具。典型地质图包含以下关键组件：
- 标题：标识物理区域、地图类型、作者等信息。
- 比例尺：展示地图与实际地面距离的关系。
- 图例：解释岩石类型、地质年代和地质特征的符号和颜色。
- 主地图：显示区域的地质特征，包括岩石分布、褶皱和断层。
- 索引图：显示与邻近区域的关系。
- 剖面图：提供地表下岩层排列的垂直切片。
- 地层柱状图：展示区域内岩层的序列、厚度和类型。
挑战
- 高分辨率：地质图通常具有极高的分辨率，可能达到 10,000² 像素。
- 多组件关联：地质图包含多个相互关联的组件，信息复杂。
- 领域知识需求：需要理解复杂的地质符号和多样化的视觉表示。
- 多模态能力需求：涉及检测、分类、分割、光学字符识别（OCR）、跨区域理解和推理等多种 AI 能力。
2. GeoMap-Bench：地质图理解基准
为了量化 MLLMs 在地质图理解方面的表现，作者构建了 GeoMap-Bench，这是首个全面评估地质图理解能力的基准。
2.1 数据来源
GeoMap-Bench 的数据来源包括：
- 美国地质调查局（USGS）
- 中国地质调查局（CGS）
这些地质图覆盖了不同的地理区域和地质特征，具有多语言支持（英文和中文）。
2.2 数据集构建
GeoMap-Bench 的数据集构建主要包括以下步骤：
- 栅格化：将 CGS 的 MapGIS 格式地图转换为栅格图像。
- 标注：手动标注每张地图的元数据，包括组件的边界框、基本信息（如名称、经纬度、比例尺）以及图例单元的详细信息。
- 定义能力：与地质学家合作，定义了五大能力（提取、定位、引用、推理和分析）及 25 个具体任务。
- 生成问题：基于标注的元数据生成问题，并由地质学家审阅，确保问题和答案的质量。
2.3 数据集概览
| 属性 | 描述 |
|---|---|
| 来源 | USGS（英文）、CGS（中文） |
| 图片数量 | 124 张 |
| 问题数量 | 3,864 个 |
| 分辨率 | 平均 6,146² 像素 |
| 问题类型 | 多选题、填空题、问答题 |
| 覆盖能力 | 提取、定位、引用、推理、分析 |
3. GeoMap-Agent：地质图理解的 AI 框架
GeoMap-Agent 是专门为地质图理解设计的 AI 系统，其框架包括三个核心模块：
3.1 分层信息提取模块（HIE）
高分辨率图像会导致 MLLMs 的表现下降，HIE 模块通过“分而治之”的策略解决这一问题：
- 分割阶段：将地质图分割为多个子图，每个子图表示语义独立的组件（如主地图、图例）。
- 提取阶段：对每个子图应用基础模型（如 GPT-4o），提取局部信息。
- 聚合阶段：将所有子图的信息整合为全局元数据。
3.2 领域知识注入模块（DKI）
DKI 模块通过专家组提供领域知识，特别是需要推理和分析的问题。专家组包括：
- 地质学家：提供地质图的组成、地层年龄表、岩性表等知识。
- 地理学家：提供土地覆盖和人口密度分布。
- 地震学家：提供历史地震数据和活动断层数据。
3.3 提示增强问答模块（PEQA）
PEQA 模块通过增强提示进一步提升问答性能：
- 上下文增强：在提示中提供全局元数据和领域知识。
- 推理链：要求模型不仅给出答案，还提供推理过程。
- 少样本学习：在提示中提供示例答案。
- 注意力设计：裁剪与问题相关的地图组件，并将其包含在提示中。
4. 实验与结果
4.1 基准测试表现
GeoMap-Agent 在 GeoMap-Bench 上的表现显著优于现有 MLLMs，尤其在提取、定位和引用等基本能力上表现突出。
4.2 模块贡献分析
通过移除 GeoMap-Agent 的某些模块进行消融实验，评估每个模块的贡献。
4.3 不同分辨率下的表现
降低地质图分辨率不会显著提升性能，说明 HIE 模块的改进主要得益于“分而治之”策略，而非直接降低分辨率。
5. 讨论与未来工作
5.1 GeoMap-Bench 的扩展
GeoMap-Bench 可进一步扩展更多能力和任务，特别是需要外部知识的分析任务，如自然资源勘探。
5.2 GeoMap-Agent 的改进
尽管 GeoMap-Agent 在 GeoMap-Bench 上表现优异，但在以下方面仍有改进空间：
- 推理能力：如断层检测和岩性组成分析。
- 复杂图例识别：处理复杂图案或颜色相似的岩石。
未来可以通过扩展专家组和工具池，或对 MLLMs 进行监督微调来进一步提升性能。
6. 结论
PEACE 框架通过 GeoMap-Bench 和 GeoMap-Agent 推动了地质图理解的研究。GeoMap-Agent 的高性能验证了其在应对高分辨率、多组件关联和领域知识需求方面的能力，未来将为地质学家提供高效、全面的地质图分析工具。
