但是要了解：Transformer 帶來AI+藝術，從語言開始遇到多模態(tài)，碰撞藝術火花?這個主題，需要引申很多額外的知識點，可能跟 CV、NLP 等領域大力出奇跡的方式不同，AI+藝術會除了遇到 Transformer 結(jié)構以外，還會涉及到 VAE、ELBO、Diffusion Model等一系列跟數(shù)學相關的知識。

Transformer + Art 系列中，今天新挖一個 CLIP 的坑，多模態(tài)不是一個新鮮的瓜，隨著 AI 的發(fā)展，多模態(tài)已經(jīng)成為一種趨勢，而 CLIP 就是在多模態(tài)領域里邁出了重要的一步。其具有非常好的遷移學習能力，預訓練好的模型可以在任意一個視覺分類數(shù)據(jù)集上取得不錯的效果，而且是 Zero-shot（不需要對新數(shù)據(jù)集重新訓練，就能得到很好的結(jié)果）。