大模型十分困難學(xué)會(huì)數(shù)r，成果換個(gè)字母就翻車了？

并且仍是最新的GPT-5。

杜克大學(xué)教授Kieran Healy表明，自己讓GPT-5數(shù)了數(shù)blueberry里有幾個(gè)b，成果GPT-5直截了當(dāng)?shù)卮饛?fù)3個(gè)。

抓馬的是，GPT-5剛發(fā)的時(shí)分還有網(wǎng)友讓它數(shù)過blueberry里的r，成果數(shù)對了。

盡管博主想到了換掉strawberry，卻沒成想讓GPT-5變得“沒有B數(shù)”的，居然不是單詞而是字母……

看來香檳仍是開得早了億點(diǎn)點(diǎn)啊（手動(dòng)狗頭）。

越不過的“藍(lán)莓山”

Healy撰寫了一篇名為“blueberry hill”（藍(lán)莓山）的博客，展現(xiàn)了他和GPT-5之間針對“blueberry里有幾個(gè)b”打開的一場“拉鋸戰(zhàn)”。

除了最初直接發(fā)問的成果外，Healy還測驗(yàn)屢次改換提示詞戰(zhàn)略，成果GPT-5的嘴都是比煮熟的鴨子還硬。

比方讓它展現(xiàn)出這些b都是在哪里呈現(xiàn)的，GPT-5明火執(zhí)仗地把最初blue中的b數(shù)了兩遍。

一看不見效，Healy接著詰問說，把這3個(gè)b給我拼出來，拼出來就可以。

成果拼是拼出來了，可是GPT-5仍是堅(jiān)持有三個(gè)b，并表明第三個(gè)b是第七個(gè)字母（實(shí)際上是r）。

見GPT-5仍是冥頑不靈，Healy爽性直接糾正，告知它只要兩個(gè)r，成果糾正了個(gè)孤寂，不過這次“第三個(gè)b”的方位從第七漂移到了第六。

接下來，Healy直接不說話，直接把blueberry這個(gè)詞帶空格拼寫了一遍，可GPT-5仍然仍然故我，不過這次久久2018國產(chǎn)是把第二個(gè)b數(shù)了兩遍，還理直氣壯地說這兒是“double b”。

費(fèi)盡心機(jī)的Healy挑選先岔開一下論題，然后回過頭來告知GPT-5只要兩個(gè)b，但GPT-5仍是堅(jiān)稱有三個(gè)。

到這兒，Healy總算拋棄了。

但網(wǎng)友們并沒有停下腳步，經(jīng)過不懈努力總算讓GPT-5數(shù)對了。

但也不算完全對，因?yàn)樗妻q論數(shù)成3個(gè)是因?yàn)椤板e(cuò)把詞當(dāng)成了blueberry，其間真的有3個(gè)b”。

咱們用中文試了一下，成果相同是翻車。

改成數(shù)e，相同是答復(fù)3個(gè)。

不知道是不是遭到strawberry里3個(gè)r的影響，讓大模型對3這個(gè)數(shù)字產(chǎn)生了執(zhí)念……

但GPT-5的bug，卻不只這一個(gè)。

GPT-5翻車合訂本

聞名悲觀派學(xué)者、紐約大學(xué)名譽(yù)教授馬庫斯（Gary Marcus）發(fā)布了一篇博客，整理了網(wǎng)友們吐槽傍邊GPT-5的各種bug。

比方發(fā)布會(huì)現(xiàn)場演示的伯努利原理，被網(wǎng)友發(fā)現(xiàn)翻車。

沒看過或許沒形象的話，其時(shí)的演示是這樣的：

還有國際象棋，GPT-5連根本的規(guī)矩都搞不清楚，只過了四個(gè)回合就呈現(xiàn)了不合法移動(dòng)（因?yàn)閲踉?e7 處被皇后將軍，因而兵不能移動(dòng))。

即便是閱覽了解，也相同被發(fā)現(xiàn)漏洞百出。

在多模態(tài)數(shù)數(shù)場景傍邊，GPT-5也仍然存在慣性思想。

面臨被人類P成5條腿的斑馬、5個(gè)圓環(huán)的奧迪、久久2018國產(chǎn)3條腿的鴨子，GPT-5想當(dāng)然以為它們是正常的斑馬、奧迪和鴨子，并據(jù)此報(bào)出了與圖片不相符的數(shù)目。

馬庫斯還表明，就連他的黑粉也不得不供認(rèn)他說的對。

甚至在網(wǎng)友們的一片聲討之下，OpenAI自己也不得不緊迫康復(fù)了被下線的4o模型。

馬庫斯：Scaling無法完成AGI

除了點(diǎn)名批判GPT-5的“罪行”之外，馬庫斯也剖析了現(xiàn)在大模型“普遍存在的一些問題”。

馬庫斯展現(xiàn)了一篇來自亞利桑那大學(xué)的研討論文，其間指出CoT在練習(xí)散布外失效，也就意味著大模型無法泛化。

依照馬庫斯的說法，這意味著即便在最新的、最強(qiáng)壯的模型中，也存在與1998年的神經(jīng)網(wǎng)絡(luò)中相同的泛化問題。

馬庫斯指出，30年未處理的“散布漂移問題”是大模型泛化才能缺乏的根本原因。

據(jù)此馬庫斯以為，GPT-5的失利不是偶爾，而是道路的失利。

他還表明，人們不應(yīng)寄希望于經(jīng)過Scaling來完成AGI，Transformer中的Attention也不是All You Need。

最終，馬庫斯表明，轉(zhuǎn)向神經(jīng)符號（Neuro-symbolic）AI，才是戰(zhàn)勝當(dāng)時(shí)生成模型泛化才能缺乏問題以及完成AGI的僅有真實(shí)途徑。

參閱鏈接：

https://kieranhealy.org/blog/archives/2025/08/07/blueberry-hill/

https://garymarcus.substack.com/p/gpt-5-overdue-overhyped-and-underwhelming

本文來自微信大眾號“量子位”，作者：克雷西，36氪經(jīng)授權(quán)發(fā)布。