多视图文本数据集指的是包含多个不同类型或来源的信息的文本数据集。不同视图可以来源于不同的数据模式(如原始文本、元数据、网络结构等),或者不同的文本表示方法(如 TF-IDF、词嵌入、主题分布等)。这些数据集常用于多视图文本分类、文本聚类、情感分析等任务。
1. 20 Newsgroups (20NG)
-
简介:
-
20 Newsgroups 是一个著名的文本数据集,包含 20 个不同主题的新闻组文章,涉及科技、宗教、体育等多个领域。
-
-
数据规模:
-
约 20,000 篇文章,分为 20 类,每类约 1,000 篇文章。
-
-
视图划分:
-
视图 1(TF-IDF 词向量):使用 TF-IDF 提取的词频特征向量。
-
视图 2(Word2Vec 词嵌入):利用 Word2Vec 预训练模型转换成密集向量。
-
视图 3(LDA 主题分布):使用 LDA(潜在狄利克雷分配)进行主题建模,得到文章的主题分布。
-
-
适用任务:
-
多视图文本聚类、多视图分类、多模态学习。
-
2. Reuters-21578
-
简介:
-
Reuters-21578 是一个金融新闻数据集,包含路透社 1987 年发布的新闻稿。
-
-
数据规模:
-
21,578 篇新闻,覆盖 135 个不同类别(如“贸易”、“经济”、“科技”等)。
-
-
视图划分:
-
视图 1(文本内容):使用 TF-IDF 或词向量表示新闻内容。
-
视图 2(元数据):新闻发布时间、新闻作者等信息。
-
视图 3(类别标签):虽然是分类数据,但可用于半监督聚类。
-
-
适用任务:
-
文本分类、多视图文本聚类、主题建模。
-
3. Amazon Reviews Multi-View Dataset
-
简介:
-
该数据集包含亚马逊用户对商品的评论,常用于情感分析和商品推荐。
-
-
数据规模:
-
数百万条商品评论,涵盖多个产品类别(如电子产品、图书、服饰等)。
-
-
视图划分:
-
视图 1(评论文本):用户对产品的评论文本,TF-IDF 或 BERT 词向量表示。
-
视图 2(评分):用户给出的 1-5 星评分(数值特征)。
-
视图 3(商品类别):商品的分类标签,如“电子产品”或“家居用品”。
-
-
适用任务:
-
多视图情感分析、用户偏好分析、个性化推荐。
-
4. Wikipedia Multi-View Dataset
-
简介:
-
该数据集包含维基百科中的文章,常用于知识图谱构建和文本分类。
-
-
数据规模:
-
数百万篇文章,覆盖不同领域(如科学、历史、艺术等)。
-
-
视图划分:
-
视图 1(正文文本):TF-IDF 词向量或 BERT 词嵌入表示的文章内容。
-
视图 2(超链接结构):文章之间的超链接关系,构成网络结构。
-
视图 3(主题分布):使用 LDA 生成的主题分布。
-
-
适用任务:
-
主题聚类、知识图谱构建、文本分类。
-
5. Twitter Multi-View Dataset
-
简介:
-
该数据集包含推特社交媒体数据,适用于舆情分析、社交网络分析等任务。
-
-
数据规模:
-
包含数百万条推文,涉及不同主题(如政治、娱乐、科技等)。
-
-
视图划分:
-
视图 1(文本内容):推文的原始文本,采用 TF-IDF 或 BERT 词嵌入表示。
-
视图 2(用户信息):用户的社交属性(关注者数量、影响力评分等)。
-
视图 3(社交网络结构):用户之间的关注关系和互动(点赞、转发)。
-
-
适用任务:
-
舆情分析、多视图社交网络聚类、热点话题检测。
-
6. Ohsumed Multi-View Medical Dataset
-
简介:
-
该数据集包含医学文献,适用于医学文本分类和生物医学信息挖掘。
-
-
数据规模:
-
约 343,000 篇医学文章,覆盖多个医学主题(如心血管、神经病学等)。
-
-
视图划分:
-
视图 1(医学文本):使用 TF-IDF 或 BERT 表示医学摘要。
-
视图 2(MeSH 主题标签):每篇文章的医学主题标签(如“心脏病”)。
-
视图 3(文献引用关系):文章之间的相互引用关系,形成网络结构。
-
-
适用任务:
-
医学文本分类、信息检索、临床知识挖掘。
-
7. Yelp Multi-View Dataset
-
简介:
-
该数据集包含 Yelp 商户评论,适用于情感分析和商户推荐。
-
-
数据规模:
-
约 600,000 条评论,覆盖 10,000+ 家商户。
-
-
视图划分:
-
视图 1(评论文本):采用 TF-IDF 或 BERT 表示用户评论。
-
视图 2(评分):用户对商户的评分(1-5 分)。
-
视图 3(商户类别):商户的行业类别(如餐厅、酒店)。
-
-
适用任务:
-
多视图情感分析、推荐系统、用户行为预测。
-
总结
数据集 | 数据规模 | 主要视图 | 适用任务 |
---|---|---|---|
20 Newsgroups | 20,000 篇新闻 | TF-IDF、Word2Vec、LDA | 文本分类、聚类 |
Reuters-21578 | 21,578 篇新闻 | 文本、元数据、类别 | 主题建模、新闻聚类 |
Amazon Reviews | 数百万条评论 | 文本、评分、商品类别 | 情感分析、推荐系统 |
Wikipedia | 数百万篇文章 | 文本、超链接、主题 | 知识图谱、文本聚类 |
数百万条推文 | 文本、用户信息、社交网络 | 舆情分析、话题检测 | |
Ohsumed | 343,000 篇医学文献 | 医学文本、MeSH 标签、引用关系 | 医学信息检索 |
Yelp | 600,000 条评论 | 文本、评分、商户类别 | 商户推荐、情感分析 |
后续用的时候可以来找一下。。