使用PyTorch版的原因

up先前使用的是topaz來超分動(dòng)漫，最近看到了B站的超分模型CUGAN，于是就下載了GUI版試試，結(jié)果還是和topaz一樣，吃不滿顯存和核心，推理速度上不去。推測(cè)原因可能是GUI版提供可以調(diào)節(jié)的參數(shù)較少，無法對(duì)特定的硬件配置進(jìn)行優(yōu)化。所以想著使用pytorch版，參數(shù)可以自己根據(jù)電腦配置進(jìn)行調(diào)節(jié)，以期提高推理速度。

官方項(xiàng)目及PyTorch版本下載地址

項(xiàng)目地址：https://github.com/bilibili/ailab/tree/main/Real-CUGAN

下載鏈接：https://github.com/bilibili/ailab/releases/tag/Real-CUGAN

百度網(wǎng)盤：https://pan.baidu.com/s/10NbgnusDucllKiE0sgBWvQ 提取碼：ds2a

個(gè)人平臺(tái)及操作系統(tǒng)

CPU：Ryzen 5900X

GPU：RTX 4090(驅(qū)動(dòng)：Nvidia Studio 526.98)

內(nèi)存：64GB

系統(tǒng)：windows10專業(yè)工作站版22H2

系統(tǒng)環(huán)境要求以及下載與解壓

①打開cmd，輸入nvidia-smi，查看當(dāng)前的驅(qū)動(dòng)版本以及該驅(qū)動(dòng)支持的最高cuda版本

如果驅(qū)動(dòng)的支持的cuda版本不符合官方要求，請(qǐng)先升級(jí)驅(qū)動(dòng)。

②下載與解壓

根據(jù)自己配置下載，up下載的是圖中第一個(gè)，最好解壓到磁盤根目錄，如果非要解壓到子目錄，請(qǐng)保證路徑?jīng)]有中文。

③這是最新的pro模型，推薦下載。

解壓后將紅框的文件復(fù)制到CUGAN模型文件的根目錄中，將藍(lán)框的文件復(fù)制到目錄中的runtime文件夾中。

ps：之后會(huì)將整理好的會(huì)放在評(píng)論區(qū)，有需要的自取。

環(huán)境搭建

①環(huán)境要求

②下載并安裝anaconda

anaconda下載地址：https://www.anaconda.com/products/distribution#Downloads

安裝目錄放在磁盤根目錄即可(可以不放在C盤)。

③創(chuàng)建環(huán)境

打開anaconda prompt，輸入conda create -n env_name（環(huán)境名稱） python=3.6(對(duì)應(yīng)的python版本號(hào)）

up這里創(chuàng)建的是一個(gè)名為CUGAN，python版本的3.6的環(huán)境。

注意：該項(xiàng)目是基于python3.6開發(fā)的，所以一定要使用python3.6，up原先使用的python3.9的環(huán)境經(jīng)實(shí)測(cè)無法運(yùn)行。

④激活環(huán)境

輸入conda activate?env_name(創(chuàng)建的環(huán)境)，此時(shí)前面的base會(huì)變成你創(chuàng)建的環(huán)境名

⑤安裝torch、cuda、cudnn

版本選擇：up在清華源找到的支持python3.6的最高版本的torch就是1.10，對(duì)應(yīng)的cuda為11.3，cudnn為8.2。

安裝建議：安裝可以將清華源添加進(jìn)conda，然后使用conda install命令進(jìn)行安裝，但是不推薦，因?yàn)槲募^大，下載過程慢，并且如果意外中斷，又要重新下。這里推薦直接去清華源下載。

清華源地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/

up已經(jīng)下好了，之后也會(huì)打包并將鏈接放在評(píng)論區(qū)。

將這三個(gè)文件放到?C:\Users\Administrator\下安裝，或者用cd命令轉(zhuǎn)到文件所在文件夾下安裝。

由于提前下好了安裝包，運(yùn)行后很快就裝好了

⑥安裝opencv-python和moviepy

建議使用pip安裝，先運(yùn)行python -m pip install --upgrade pip將pip更新到較新的版本。

輸入pip install opencv-python安裝opencv-python。

如圖，安裝opencv-python幫up自動(dòng)安裝上了numpy，所以不需要另外安裝numpy。就用它自動(dòng)裝的numpy版本，避免不必要的兼容性問題。

輸入pip install?moviepy安裝moviepy。

至此，運(yùn)行該模型的所有需要的包都已裝上，可以輸入conda list進(jìn)行查看包是否安裝好，以及版本對(duì)不對(duì)，如下圖。

環(huán)境配置

①打開高級(jí)系統(tǒng)設(shè)置

②點(diǎn)擊環(huán)境變量

③找到系統(tǒng)變量中的Path并編輯，將剛剛創(chuàng)建的環(huán)境添加進(jìn)去，路徑參考如圖。

添加藍(lán)框中的三個(gè)，up的路徑僅供參考，實(shí)際以自己的安裝anaconda的路徑和環(huán)境名稱為準(zhǔn)。

這樣設(shè)置后就會(huì)讓系統(tǒng)默認(rèn)使用你創(chuàng)建的環(huán)境，打開cmd輸入python進(jìn)行查看。

如圖默認(rèn)環(huán)境變?yōu)榱?span id="s0sssss00s" class="color-pink-03">python3.6.13|Anaconda,Inc|，說明設(shè)置成功。

至此，已經(jīng)完成了所有超分前的準(zhǔn)備工作，現(xiàn)在只需要設(shè)置好配置文件就可以運(yùn)行模型了。

配置設(shè)置

打開模型文件中的config.py文件，用記事本就行。

①超分倍率以及模型選擇

超分倍率scale是指視頻寬高各乘以2，比如將1080p視頻超分成2160p，也就是4k。如果你想將720p超分成4k，就將其改為3，以此類推。up一般是把1080p超分成4k，所以用的是scale=2。

底下的model_path是具體指定用哪個(gè)模型，比如我這里是scale=2，用的就是model_path2，后面是模型路徑，根據(jù)作者建議選擇適合自己的模型就行，up一般用的是pro的無降噪版。

②half、tile、cache_mode、alpha設(shè)置

這里就根據(jù)#號(hào)后面的建議和自己的配置進(jìn)行選擇就行，up這里是選擇了比較吃顯存的設(shè)置。

③視頻或者圖片超分路徑

超分視頻就填video，超分圖片填image。要注意的是，超分圖片的話，得把圖片放在文件夾input_dir中，會(huì)自動(dòng)輸出到output_dir文件夾。超分視頻的話就要修改視頻的路徑以及輸出的路徑和格式。

比如我目前的設(shè)置是超分視頻，超分的是T盤根目錄的名為01的mov視頻，最終會(huì)在T盤根目錄輸出名為01_4k的mov視頻。想輸入輸出其它格式視頻，直接改后綴就行，比如mp4、mkv等等。(ps：不用多此一舉把視頻拆成圖片序列進(jìn)行超分，實(shí)測(cè)推理速度不及直接超分視頻，估計(jì)原因是需要不斷讀取圖片和寫入圖片造成的時(shí)間延長(zhǎng)，CPU夠強(qiáng)的話，直接編碼視頻就行)

④編碼參數(shù)設(shè)置

crf設(shè)置得越低，視頻碼率和質(zhì)量越高，up習(xí)慣設(shè)置為12，一般23左右就可以了，個(gè)人自己看情況設(shè)置就行。

preset是質(zhì)量和速度之間的取舍問題，越慢視頻質(zhì)量越高，但是越吃CPU。up測(cè)試過veryslow，這時(shí)候CPU已經(jīng)出現(xiàn)了瓶頸，顯卡占用偏低，推理速度變慢。目前使用的是slower。其實(shí)未達(dá)到CPU瓶頸之前，你設(shè)置多少都不會(huì)怎么影響速度，因?yàn)檫@時(shí)候瓶頸是顯卡，CPU再快也沒用，所以u(píng)p的思路是，設(shè)置在CPU瓶頸的前一檔，這樣能充分發(fā)揮顯卡和CPU的性能，同時(shí)又能保證最終的視頻質(zhì)量。

⑤由于up主是一個(gè)小白，其他參數(shù)就按照作者的默認(rèn)設(shè)置了。將前面的設(shè)置完之后，就可以雙擊go.bat文件進(jìn)行視頻超分了。

PyTorch版和GUI版的速度比較

①運(yùn)行前硬件狀態(tài)

②各版本的設(shè)置

PyTorch版的設(shè)置：

GUI版的設(shè)置：

倆者都是用的是pro的無降噪模型，可以看到GUI版本可以調(diào)整的參數(shù)很少。

③倆者運(yùn)行時(shí)的硬件占用情況

可以看到倆者的CPU、內(nèi)存以及GPU占用相差不大，但是GUI版卻一點(diǎn)顯存也不吃。up主推測(cè)是GUI版本是為了兼容性，把顯存的需求全部拉到最低了。

④倆者推理速度比較

up使用的是同一個(gè)視頻?？梢钥吹絇yTorch版推理完成全部的6124幀使用了1165秒，通過up主引以為豪的小學(xué)數(shù)學(xué)功底，計(jì)算出來的推理速度是每秒5.25幀，而GUI版的推理速度則是1.9幀/秒~2.2幀/秒，前者是后者的2.5倍以上。

據(jù)up主的非專業(yè)分析，應(yīng)該是GUI版沒有積極地調(diào)用顯存而導(dǎo)致顯卡并行計(jì)算能力沒有充分發(fā)揮。

(ps:先前up用GUI版本的時(shí)候，有些視頻的某些場(chǎng)景會(huì)導(dǎo)出全黑的幀，導(dǎo)出幾次都是同樣的地方出現(xiàn)，導(dǎo)出成圖片序列也試過了，問題依舊存在。原先以為是模型的問題，直到換成了PyTorch版，問題就消失了，所以GUI版本應(yīng)該還存在bug，遇到同樣bug的小伙伴可以嘗試更換成PyTorch版本)

補(bǔ)充

①CUGAN和topaz的比較

首先從推理速度上來說，按照up主以前使用的topaz video2.6.4版本的經(jīng)驗(yàn)，1080p超4k大概是2.5幀/秒往上，雖然模型不同，速度不具可比性，但是up注意到topaz顯卡的占用未能上去，一直都是30%~50%，顯存占用也比較小。這也是topaz一直以來的問題，中端顯卡和高端顯卡之間的推理速度沒有什么差距，期待后面的版本能優(yōu)化好吧，目前up已經(jīng)卸載了topaz，所以就沒有上實(shí)測(cè)了。

其次是視頻質(zhì)量，這點(diǎn)更不好比，topaz偏向非動(dòng)畫的超分，CUGAN是專用于動(dòng)畫的，up直觀感受是CUGAN更加清晰，銳化更高一點(diǎn)，這個(gè)對(duì)于非動(dòng)畫的視頻原畫質(zhì)的毀壞是顯而易見的。

因此推薦超分動(dòng)畫使用CUGAN，可以在獲得更高的推理速度情況下，視頻質(zhì)量也很好；而真人實(shí)拍視頻則用topaz。由于up只超分動(dòng)畫，在有了更好的CUGAN之后，topaz自然就卸載了，以后假如要超分非動(dòng)畫，說不定還會(huì)下回來。

②在使用CUGAN時(shí)要注意不要爆顯存

如果你運(yùn)行之后，顯存和核心近乎吃滿，這個(gè)時(shí)候要注意CPU的占用，如果CPU占用很低，或者上升很少，說明顯存已經(jīng)爆了，推理速度會(huì)變得很慢。這個(gè)時(shí)候要調(diào)整參數(shù)，降低顯存占用。

有些客戶端開啟就會(huì)占用顯存。up有時(shí)候后臺(tái)放著CUGAN在跑，然后想開幾個(gè)客戶端或者游戲啥的，正好讓顯存爆掉的情況也會(huì)存在，這個(gè)時(shí)候可以調(diào)整參數(shù)，降低一點(diǎn)顯存。

③關(guān)于編碼參數(shù)中preset檔位的選擇

為了驗(yàn)證在達(dá)到CPU瓶頸之前，所有檔位速度都差不多，up用同一個(gè)視頻測(cè)試了slow檔位的速度，對(duì)比slower檔位，結(jié)果如下：

如圖，slow所用時(shí)間最終比slower少了14s，大概快了1.2%，基本可以算作誤差范圍內(nèi)。

這可以印證up之前的猜想：未達(dá)到CPU瓶頸之前，所有檔位速度都是差不多的。當(dāng)然質(zhì)量越低的檔位，CPU占用相對(duì)也會(huì)更低，因?yàn)榇藭r(shí)瓶頸在顯卡。