1000*0.04=40-->10

5000*0.04=200-->20

預(yù)訓(xùn)練--》NNLM--》word2Vec--》ELMo--》Attention

NLP 中預(yù)訓(xùn)練的目的，其實就是為了生成詞向量

順水推舟，transformer 其實就是 attention 的一個堆疊

從一個宏觀的角度，去看 transformer 到底在干嘛，然后在細分，再作總結(jié)

總分總

seq2seq

一句話，一個視頻

序列（編碼器）到序列（解碼器）

分成兩部分，編碼器和解碼器

機器翻譯流程（Transformer）

通過機器翻譯來做解釋

給一個輸入，給出一個輸出（輸出是輸入的翻譯的結(jié)果）

“我是一個學(xué)生” --》（通過 Transformer） I am a student