🌟 嗨,你好,我是 青松 !
🌈 希望用我的经验,让“程序猿”的AI学习之路走的更容易些,若我的经验能为你前行的道路增添一丝轻松,我将倍感荣幸!共勉~
【程序员 NLP 入门】词嵌入 - 如何基于计数的方法表示文本? (★小白必会版★)
词嵌入核心问题:
一、动因篇
- 💯 什么是词向量化技术?
- 💯 如何让向量具有语义信息?
二、基于统计的方法
- 💯 如何基于计数的方法表示文本?
- 💯 上下文中的窗口大小是什么意思?
- 💯 如何统计语料的共现矩阵?
- 💯 基于计数的表示方法存在哪些问题?
三、基于推理的方法
- 💯 Word2Vec的两种模型分别是什么?
- 💯 Word2Vec 中 CBOW 指什么?
- 💯 Word2Vec 中 Skip-gram 指什么?
- 💯 CBOW 和 Skip-gram 哪个模型的词嵌入更好?
四、问题优化篇
- 💯 Word2Vec训练中存在什么问题?
- 💯 Word2Vec如何优化从中间层到输出层的计算?
- 用负采样优化中间层到输出层的计算
- 负采样方法的关键思想
- 负采样的采样方法
- 💯 为什么说Word2vec的词向量是静态的?
- 💯 Word2vec的词向量存在哪些问题?
💯 如何基于计数的方法表示文本?
重要性:★
基于分布式假设使用向量表示单词,最直截了当的实现方法是对周围单词的数量进行计数。具体来说,在关注某个单词的情况下,对它的周围出现了多少次什么单词进行计数,然后再汇总,汇总后所得的矩阵称之为共现矩阵。我们将这种做法称为“基于计数的表示方法”。