這篇專欄我們來看這篇論文：

這篇也被很多文章介紹過了，這是檢測一段文本是否是大語言模型生成的模型。為什么現在才講這一篇呢？主要是這種論文我一般都是直接過濾掉的（后面會講為什么），然而機緣巧合下稍微了解了一下內容，感覺挺有意思的，于是打算講一下。

1.為什么會過濾掉這類論文

我們發(fā)現，不管是之前的Diffusion還是當今的ChatGPT，在它們火爆后很快就會有一些檢測程序出現。

如果讓我做一個簡單的檢測程序，我會怎么做呢？其實做法非常簡單，我只要寫一個二分類神經網絡或隨便調用個別的什么分類器就可以了，然后收集一些模型生成的內容和一些真實的內容，訓練一下程序就搞完了。整個過程也不需要大模型和大訓練，能保證基本有用就行了。這樣的做法非常簡單，還能蹭到熱度，做這類東西的人當然會多。

所以這類文章往往非常沒意思。

當然，既然講這一篇，那就說明這一篇它并不是這樣做的，他甚至不需要額外訓練模型，除了一些數學運算之外，需要做的事情只有一件——用魔法打敗魔法！

2.用魔法打敗魔法

其實用魔法打敗魔法也算是傳統藝能了。

例如有一個模型是set transformer。transformer一般是需要位置編碼的，而set transformer想做一個位置無關的transformer，它是怎么做的呢？答案就是使用魔法，沒錯，set transformer把transformer們以某種方式拼起來就做出set transformer了（具體不多透露）。

這篇文章的思想也是這樣，直接用大模型來檢測大模型，甚至都不需要微調和prompt，直接用zero-shot（簡單來說就是開箱即用，不需要任何額外調教）

3.唬人的概念

這篇文章最唬人的一句話應該就是這句了：LLM tends to occupy negative curvature regions of the model's log probability function（大模型傾向于占據模型的對數概率函數的負曲率區(qū)域），雖然有配圖，但一上來確實不太好理解：

但其實這句話簡單來說的話挺low的。我們問一個問題讓大模型和人來分別回答，然后我們要求他們稍微修改答案，就會發(fā)現大模型修正的答案更有可能比原先的“差”，這個“差”是通過對數概率來體現的。

或者說，大模型在zero-shot的情況下最初給你的回答往往是最好或接近最好的，而真實的人類不會這樣，修改答案后答案可能變好也可能變差。

當然，由于我一開始也不相信就單純這樣，也使用魔法來檢驗一下，為了保證公平，我也用zero-shot，ChatGPT給出的回答如下：

4.模型整體流程

模型整體流程如下：

簡單來說，分為三步：

（1）對一段文本進行隨機擾動（使用T5模型等，T5也是一個語言模型）

（2）把這段文本和擾動后的樣本都扔到一個大語言模型里。圖中用的是GPT-3，這里需要注意的是，你要檢測一段文本是否是某個語言模型生成的，這里就要用對應的模型，這是由于不同模型的對數概率區(qū)間是不一樣的。你要檢測一段文本是否是ChatGPT生成的，那這里就放ChatGPT。

這里用zero-shot應該是防止對數概率空間發(fā)生變化之類的。

（3）進行對數概率比較，上面那個算式，對于人類來說結果應該很接近0，而大模型結果一般是較大的正數，說明擾動后的文本確實“質量”下降了

5.結語

我這里就不扯別的了（例如什么“斯坦福大學發(fā)明XXX對抗ChatGPT”），這種方法的好處是泛化性比較強，因為是發(fā)現了一條“規(guī)律”，雖然這個規(guī)律說實話我個人感覺除了唬人外也不驚艷（梯度下降的結果不就是這樣嗎）就是了。