MedQA、MedMCQA、PubMedQA 和 MMLU数据集简介
1. MedQA数据集
-
简介
- MedQA 数据集是一个面向医学领域的问答数据集，模拟了美国医疗执照考试（USMLE）的风格。它包含了英文、简体中文和繁体中文的问题，旨在评估模型对医学知识的理解和推理能力。
-
数据集主页
- Papers with Code - MedQA Dataset
-
问题类型
- 单选题
-
数据集的完整格式
{"question": "问题文本","options": ["选项A", "选项B", "选项C", "选项D"],"answer": "A"
}
- 模型的回答
{"id": "问题的标识符","prediction": "A"
}
2. MedMCQA数据集
-
简介
- MedMCQA 是一个大规模的多选题问答（MCQA）数据集，专为解决实际医学入学考试问题而设计。它包含了超过194,000个高质量的 AIIMS 和 NEET PG 入学考试多选题，涵盖2,400个医疗保健主题和21个医学科目。
-
数据集主页
- MedMCQA Homepage
-
问题类型
- 多选题
-
数据集的完整格式
{"question": "问题文本","opa": "选项A","opb": "选项B","opc": "选项C","opd": "选项D","cop": "a","choice_type": "multi","exp": "答案解释","subject_name": "科目名称","topic_name": "主题名称"
}
- 模型的回答
{"id": "问题的标识符","prediction": ["a", "c"]
}
3. 数据集
-
简介
- PubMedQA 数据集是从PubMed摘要中收集的新颖的生物医学问答（QA）数据集。它要求模型能够理解并推理生物医学研究文本，尤其是其中的定量内容，以回答研究问题。
-
数据集主页
- PubMedQA Homepage
-
问题类型
- 解释类
-
数据集的完整格式
{"question": "问题文本","context": "相关上下文文本","long_answer": "长答案文本","answer": "yes/no/maybe"
}
- 模型的回答
{"id": "问题的标识符","prediction": "maybe"
}
4. MMLU数据集
- 简介
- MMLU（大规模多任务语言理解）数据集是一个多语言、多任务的评测数据集，旨在评估和提升人工智能模型在不同语言、认知和文化背景下的性能。
- 数据集主页
- MMLU Dataset | Papers With Code
- 问题类型
- 单选题
- 数据集的完整格式
{"question": "问题文本","options": ["选项1", "选项2", "选项3", "选项4"],"answer": "1"
}
- 模型的回答
{"id": "问题的标识符","prediction": "1"
}
