前言
Seq2Seq模型用来处理nlp中序列到序列的问题，是一种常见的Encoder-Decoder模型架构，基于RNN同时解决了RNN的一些弊端(输入和输入必须是等长的)。Seq2Seq的模型架构可以参考
Seq2Seq详解
，也可以读论文原文
sequence to sequence learning with neural networks
.本文主要介绍如何用Pytorch实现Seq2Seq模型。
数据集的准备
本文使用的数据集极为简易，因为只是想要动手实践一下Seq2Seq模型进而更好的理解nlp中模型的搭建和训练。
首先构建字典
建立一个字母表(其实是一个字典，格式为序号:字母,一遍之后用序号检索字母)
char_list = [c for c in 'SEPabcdefghijklmnopqrstuvwxyz']
char_dic = {n:i for i,n in enumerate(char_list)}手动创建数据集
seq_data = [['man', 'women'], ['black', 'white'], ['king', 'queen'], ['girl', 'boy'], ['up', 'down'], ['high', 'low']]数据集只有6对单词，如果有合适的数据集模型的训练效果会好一点。
word embedding
本文采用的编码方式是one-hot编码。将数据集中单词组的第一个单词作为encoder的input输入，将第二个单词作为decoder的output输入，也将第二个单词作为计算loss的target.
需要注意的是，拿input举例，数据集中的每个input向量最终需要整合在一个大的向量中，因此就需要保证每一个时间步输入的单词向量维度是相同的。output和target亦是如此。但是数据集中每个单词向量的长度不可能都相同，所以，需要设置一个单词的最大长度seq_len，每一个单词都用大写P补充为这个长度。
def make_batch(seq_data):batch_size = len(seq_data)input_batch,output_batch,target_batch = [],[],[]for seq in seq_data:for i in range(2):seq[i] += 'P' * (seq_len - len(seq[i]))input = [char_dic[n] for n in seq[0]]output = [char_dic[n] for n in ('S' + seq[1])]target = [char_dic[n] for n in (seq[1] + 'E')]input_batch.append(np.eye(n_class)[input])output_batch.append(np.eye(n_class)[output])target_batch.append(target)return Variable(torch.Tensor(input_batch)<
