大模型聽誰的 ?
指令層級是LLM(大型言語模型)處理指令優(yōu)先級的分級結(jié)構(gòu),
該測驗運用來自Wikidata的結(jié)構(gòu)化數(shù)據(jù)來創(chuàng)立特定的提示 。Opus 4與Sonnet 4的得分均到達1.000的滿分 ,
該測驗要求模型在不答應閱讀或運用外部東西的狀況下 ,
需求留意的是,GPT系列在實踐布置中一起支撐開發(fā)者音訊(developer message)與體系音訊(system message)。
錯覺評價:Claude模型的拒答率高達70%,也不冒險」;
OpenAI的推理模型則更著重「答復掩蓋率」 ,
Sonnet特別長于回絕借用外部威望或品德壓力的提示詞 ,o4-mini拒答率較低,要點是Password Protection User Message與Phrase Protection User Message。并不是說測驗自身難度低