夕小瑤科技說 原創

作者 |

一個烙餅煎一面一分鐘，兩個烙餅煎兩面幾分鐘？

讓你來回答，是不是一不小心就掉到溝里了？如果讓大語言模型來做這種腦筋急轉彎會怎樣呢？研究發現，模型越大，回答就越可能掉到溝里，即使是擁有千億參數的大模型也不能幸免。但是卻能很好回答這些問題。讓我們一起來看看吧。

論文題目:

-Like and in —and in GPT-4

論文鏈接:

腦筋急轉彎

作者采用了CRT（ Test）數據作為腦筋急轉彎的測試數據。該數據在心理學領域，廣泛地被用于衡量人類的思維習慣，判斷是否習慣于直覺思維。

▲腦筋急轉彎數據示例

如上圖所示，作者探索了3種CRT數據最新腦筋急轉彎大全，和1種語言邏輯陷阱。例如：

模型表現

模型表現如下圖所示，可以看到模型較小時（從117M GPT-1 到2.7B GPT-Neo），隨著模型增大，模型回答正確答案（綠色）和直覺答案（紅色）的比例在提高，回答無關答案（黃色）的比例在下降。但隨著模型進一步增大（從2.7B GPT-Neo 到 175B GPT-3），無關答案比例進一步下降，直覺答案比例進一步上升，正確答案比例卻不升反降。包括、、GPT-3在內的大語言模型明顯掉入腦筋急轉彎的陷阱。即使是經過指令調整與RLHF的text -002/003也未能幸免。

▲不同模型表現對比

而在上圖中，經過指令調整的與GPT-4，一下子正確答案的比例就高了許多。究竟是什么魔法使得的腦筋會轉彎呢？我們不得而知。

下圖具體對比了GPT-3（text -003，左）、（中），GPT-4（右）在幾類不同的腦筋急轉彎的表現，可以更加凸顯上述現象。

▲不同腦筋急轉彎類型上的模型表現對比

如果改換輸入形式會怎樣？下圖上為問答的形式，和上面的實驗相同。下圖中、下分別為多選、續寫的形式。可以看到，修改提問形式之后，正確率略有上升，但整體差別不大。

下圖顯示，通過少監督展示學習，GPT-3的正確率會有所上升。但即使展示到40個左右的樣本，準確率和無監督的比仍有差距，更不用說GPT-4了。

結論

這篇論文針對很有意思的一類問題（腦筋急轉彎）最新腦筋急轉彎大全，發現了大語言模型的一個很有意思的現象。作者也嘗試了多種方法，但無論是改變提問形式還是增加監督數據最新腦筋急轉彎大全，GPT-3（text -003）在腦筋急轉彎上的表現仍然難以達到的水平。究竟使用了怎樣的魔法讓模型的腦筋會轉彎呢？

往期精彩回顧適合初學者入門人工智能的路線及資料下載(圖文+視頻)機器學習入門系列下載機器學習及深度學習筆記等資料打印《統計學習方法》的代碼復現專輯機器學習交流qq群955171419，加入微信群請掃碼

免責聲明：本文系轉載，版權歸原作者所有；旨在傳遞信息，不代表本站的觀點和立場和對其真實性負責。如需轉載，請聯系原作者。如果來源標注有誤或侵犯了您的合法權益或者其他問題不想在本站發布，來信即刪。