? ?

? ?很多人好奇為什么ChatGPT接口有最大tokens限制，而官方提供的網(wǎng)頁版本卻可以無限的交流？

我的認為他的處理機制是這樣的：
1. 首先他會將每次輸入的問題和回答都保存到起來，同時也會保存對應文本的Embedding詞向量數(shù)據(jù)。
2. 然后在下一次輸入的時候，會將最后一次的輸入的詞向量數(shù)據(jù)和當前輸入的詞向量數(shù)據(jù)進行拼接，然后再輸入到模型中。

這樣的話，模型就可以做到，只要單次回答的輸入不超過最大tokens的限制了，就可以無限的聊下去。

我的理論支持點：
1. 在ChatGPT的聊天測試過程中，無論交流多長只要不是一個問題的輸入內(nèi)容超過了最大tokens的限制，他都可以無限的回答下去。
2. ChatGPT允許在任何一次歷史的會話中編輯問題重新獲取答案，這也說明了他不僅保留了每次的歷史問答數(shù)據(jù)，還保留了對應的詞向量數(shù)據(jù)。

大家有更多的看法，歡迎留言交流。

參考資料：

https://chat.openai.com/share/edf315c0-97f4-4eae-8ea1-355d3845c300

https://github.com/liaokongVFX/LangChain-Chinese-Getting-Started-Guide