1. 之眼視覺的提取，大多用的是Faster R-CNN：
   1.1 直接提取視覺向量；
   1.2 進行目標檢測，輸出bounding box和對應位置；
   1.3 進行目標檢測，提取類別特征。
   潛在問題：提取的信息有冗余和噪音，對下游任務有益的視覺信息沒有被有效提取，和對應的文本信息有語義鴻溝，不好做視覺-文本對齊等。

2. 文本一般會用BERT或者Roberta做初始化，大規(guī)模訓練集會從頭開始訓練。

Early fusion：特征提取后，一般是直接concat，進入transformer；
Late fusion：特征提取后，模態(tài)內部再進行深度學習，再做模態(tài)交互。