近年來，自動摘要技術(shù)取得了顯著的進(jìn)步，尤其是使用大型語言模型進(jìn)行零樣本提示，例如 GPT-4。但摘要的信息密度常常被忽視。理論上，摘要應(yīng)該比源文更密集，即包含更多的信息。為了解決這個問題，Salesforce 和 MIT 的研究者進(jìn)行了一項研究，通過征求人類對 GPT-4 生成的一系列摘要的偏好來確定最佳的信息密度。

研究者開發(fā)了一種基于提示的迭代方法 (CoD)，使摘要的實體密度逐漸增加。他們對 CNN/《每日郵報》的文章進(jìn)行了人工和自動評估，以更好地了解信息量和清晰度之間的權(quán)衡。結(jié)果顯示，人類更喜歡與人類編寫的摘要幾乎一樣密集的摘要，而這些摘要比普通 GPT-4 提示生成的摘要更密集。

此外，研究者還對 CoD 摘要進(jìn)行了定性分析，發(fā)現(xiàn)摘要的連貫性/可讀性與信息量之間存在明顯的權(quán)衡?？偟膩碚f，這項研究為提高大型語言模型的表達(dá)能力提供了有價值的啟示。

文章的影響力：

商業(yè)上： 提高摘要的信息密度對于商業(yè)應(yīng)用來說是非常有價值的。例如，新聞機(jī)構(gòu)和內(nèi)容提供者可以使用這種技術(shù)來生成更精煉、信息量更大的摘要，從而吸引更多的讀者。此外，對于需要實時應(yīng)用的場景，如金融新聞或緊急通知。

學(xué)術(shù)上： 這項研究為自動摘要技術(shù)提供了新的研究方向。通過探討如何提高摘要的信息密度，研究者為其他學(xué)者提供了一個新的研究框架。此外，該研究還開源了 GPT-4 摘要、注釋和一組 5000 篇未注釋的 CoD 摘要，這為后續(xù)的研究提供了寶貴的數(shù)據(jù)資源。

論文地址：https://readpaper.com/paper/4798755580713893889

數(shù)據(jù)集：https://huggingface.co/datasets/griffin/chain_of_density

特邀作者：早稻田大學(xué)計算機(jī)系在讀博士 王軍杰?