LLM最全「怪癖」首曝光！馬里蘭OpenAI等30 學(xué)者祭出75頁(yè)提示報(bào)告

近期，一項(xiàng)由來(lái)自馬里蘭大學(xué)、OpenAI、斯坦福大學(xué)、微軟等12家機(jī)構(gòu)的30多位研究者合作的研究成果，揭示了大型語(yǔ)言模型（LLM）提示技術(shù)的全面景象。他們發(fā)布了一篇長(zhǎng)達(dá)75頁(yè)的報(bào)告，詳細(xì)探討了這一領(lǐng)域的現(xiàn)狀。報(bào)告深入分析了4797條相關(guān)記錄，最終篩選出1565篇論文，構(gòu)建了一套分類(lèi)體系，包括33個(gè)專(zhuān)業(yè)術(shù)語(yǔ)、58種文本提示技術(shù)和40種其他模態(tài)的提示技術(shù)。LLM最全「怪癖」首曝光！馬里蘭OpenAI等30 學(xué)者祭出75頁(yè)提示報(bào)告。

提示技術(shù)，簡(jiǎn)單來(lái)說(shuō)，是指導(dǎo)如何構(gòu)建和調(diào)整提示以引導(dǎo)AI生成特定響應(yīng)的方法。研究過(guò)程中，研究團(tuán)隊(duì)發(fā)現(xiàn)了一些LLM的奇特行為。例如，重復(fù)提示中的某些內(nèi)容竟然能提升模型表現(xiàn)；提及具體人名相較于匿名或虛構(gòu)名稱(chēng)更能提高準(zhǔn)確性；以及示例的選擇和排列順序?qū)δＰ洼敵鲇兄@著影響，甚至能導(dǎo)致結(jié)果準(zhǔn)確率的巨大波動(dòng)。此外，研究指出，結(jié)合代碼進(jìn)行推理的方式顯示出了巨大的潛力，盡管目前尚未廣泛采用。

研究還概述了三大類(lèi)提示技術(shù)：基于文本、多語(yǔ)言和多模態(tài)。文本提示技術(shù)中，研究詳細(xì)介紹了少樣本提示、零樣本推理及各種策略，如自我追問(wèn)、思維鏈（CoT）等，這些方法能顯著改善模型在處理復(fù)雜任務(wù)時(shí)的表現(xiàn)。多語(yǔ)言提示技術(shù)則關(guān)注如何跨越語(yǔ)言障礙優(yōu)化提示，而多模態(tài)提示技術(shù)則探索了圖像、視頻等非文本信息如何與文本提示結(jié)合，以增強(qiáng)模型的推理能力。

通過(guò)一項(xiàng)針對(duì)Reddit帖子中自殺危機(jī)綜合癥標(biāo)注的案例研究，研究者展示了提示工程在實(shí)際問(wèn)題解決中的應(yīng)用，不僅提高了模型的識(shí)別精度，還體現(xiàn)了人類(lèi)專(zhuān)家與自動(dòng)化技術(shù)相結(jié)合的重要性。整個(gè)研究過(guò)程遵循了嚴(yán)格的PRISMA審查流程，確保了數(shù)據(jù)收集和分析的科學(xué)性和可靠性。

總之，這份報(bào)告不僅系統(tǒng)化地整理了現(xiàn)有的提示技術(shù)，還揭示了LLM的一些非直觀反應(yīng)，強(qiáng)調(diào)了未來(lái)研究中需要關(guān)注的方面，為生成式AI的發(fā)展提供了寶貴的洞見(jiàn)。LLM最全「怪癖」首曝光！馬里蘭OpenAI等30 學(xué)者祭出75頁(yè)提示報(bào)告。