bert框架的介绍
BERT是一个基于Transformer的双向编码器表示模型，它通过预训练学习到了丰富的语言表示，并可以用于各种自然语言处理任务。
模型结构：
BERT基于Transformer的编码器部分，采用了多层自注意力机制和前馈神经网络。这种结构使得BERT能够同时考虑文本中的上下文信息，从而捕捉到更加丰富的语义特征。
预训练任务：
BERT通过两个无监督的预测任务进行预训练，即遮蔽语言模型（Masked Language Model, MLM）和下一句预测（Next Sentence Prediction, NSP）。在MLM任务中，模型需要预测被遮蔽的词；在NSP任务中，模型需要判断两个句子是否是连续的。这两个任务使得BERT能够学习到语言的深层结构和语义信息。
双向性：
与之前的语言模型（如GPT）主要依赖之前或之后的上下文不同，BERT是双向的。这意味着它在预测一个词时会同时考虑该词前后的上下文，从而更准确地捕捉语义信息。
微调：
在完成预训练后，BERT可以通过微调来适应各种下游任务。微调是指在特定任务的数据集上对预训练模型进行进一步的训练，以使其更好地适应该任务。BERT的灵活性使得它可以应用于多种自然语言处理任务，如文本分类、命名实体识别、问答等。
表现与影响：
BERT在各种自然语言处理任务中都取得了显著的成绩，刷新了多项基准测试的记录。它的成功推动了预训练语言模型的发展，为后续更多先进模型（如RoBERTa、ALBERT等）的出现奠定了基础。
bert框架->Transformer->结构
传统RNN网络计算时存在的问题？
1、串联，导致数据必须从h1-h2-…hm。数据训练时间变长，因为需要要等h1的结果出来才能计算h2。
2、并行计算效果不好，也就是不能多台服务器同时训练一个网络。
传统word2vec存在的问题？
1、词向量一旦训练好了，就不会改变
2、不同语境中的词含义不同，例如 【a、台湾人说机车。 b、机车】 因此根据上下文不同的语境，应该有多个不同的词向量。
结构
Encoder-Decoder
Encoder-Decoder：
也就是编码-解码框架，目前大部分attention模型都是依附于Encoder-Decoder框架进行实现。 在NLP中Encoder-Decoder框架主要被用来处理序列-序列问题。也就是输入一个序列，生成一个序列的问题。这两个序列可以分别是任意长度。
比如：
文本摘要：输入一篇文章(序列数据)，生成文章的摘要(序列数据)
文本翻译：输入一句或一篇英文(序列数据)，生成翻译后的中文(序列数据)
问答系统：输入一个question（序列数据），生成一个answer（序列数据）
Encoder：
编码器，对于输入的序列<x1,x2,x3…xn>进行编码，使其转化为一个语义编码C，这个C中就储存了序列<x1,x2,x3…xn>的信息。 编码方法：主要RNN/LSTM/GRU/BiRNN/BiLSTM/BiGRU，
Decoder：
解码器，根据输入的语义编码C，然后将其解码成序列数据，解码方式也可以采用RNN/LSTM/GRU/BiRNN/BiLSTM/BiGRU。 Decoder和Encoder的编码解码方式可以任意组合
attention
自注意力机制是Transformer架构的核心。它允许模型在序列中的每个位置都计算与其他位置的依赖关系，无论这些位置之间的距离有多远。这种机制使得模型能够捕捉到长距离依赖关系，并且由于其并行化的特性，可以非常高效地处理数据。
一句话中，哪些是重点？如何让计算机关注到话语中的重点？
如何实现slef attention呢？
1、首先输入经过编码后得到的词向量
2、构建三个矩阵，相当于cnn的卷积核， 分别为wQ、wK、wv矩阵。
3、将每一个词向量与矩阵相乘。得到QKV矩阵。 其中Q：为需要查询的 K：为等着被查的 V：实际的特征信息
slef attention如何计算
1、计算一段话中每个词之间的匹配程度。
2、通过匹配程度得到每个词的特征重要性。
每个词的Q会跟整个序列中的每一个K计算得分，然后基于得分再分配特征。
因此当和不同的词组合成序列，就会得到不同的特征值。因为不同的组合序列语句，注意力不同。
)
)