ChatGPT原理

## 常見誤解

1. chatgpt用罐頭回應(yīng)，從開發(fā)者準(zhǔn)備好的罐頭回應(yīng)。
2. chatgpt的答案是網(wǎng)絡(luò)搜索的結(jié)果

為什么Chatgpt會(huì)給出錯(cuò)誤答案：ChatGPT is not connected to internet.

## ChatGPT真正做的事情-文字接龍

如何做到歷史對(duì)話記錄：因?yàn)檩斎氚艘郧暗膶?duì)話歷史

要做到這些，函數(shù)function會(huì)非常復(fù)雜。

函數(shù)function和參數(shù)是什么？

ChatGPT里有1700億個(gè)以上的參數(shù)。

這個(gè)函數(shù)function是如何找出來的

通過大量網(wǎng)絡(luò)資料與人類老師的教導(dǎo)訓(xùn)練出來的。

如下圖所示訓(xùn)練與測(cè)試的差異：

## chatGPT的學(xué)習(xí)過程: 預(yù)訓(xùn)練、監(jiān)督式學(xué)習(xí)、增強(qiáng)式學(xué)習(xí)

## ChatGPT帶來的研究問題

1. 如何精準(zhǔn)提出需求，系統(tǒng)化的方法？－提示詞
2. 如何更正錯(cuò)誤？ChatGPT的預(yù)訓(xùn)練資料目前只到2021年——Neural Editing
3. 怎么用模型偵測(cè)一段文字是不是AI生成的
4. 知道某些秘密，一不小心泄露秘密了呢？－Machine?。酰頛earning　機(jī)器反學(xué)習(xí)