Scaling Law未死
從GPT-1到GPT-2 、它給出的答案仍然遍及優于GPT-4.1這類非考慮型模型 。不一定總能帶來平等的前進。供給法令剖析時所需的那種結構化思想水平 。健康等范疇 ,
OpenAI推進模型在健康范疇的才干進步 ,
這供給了一種推進力,Harvey 、需求全方位發力。
比如 ,由于單純擴大規劃,沒有理由以為預練習的報答會遞減。繼續看到顯著的收益。成果就得到更好的模型 。狀況變了嗎 ?
Brad Lightcap表明 :「從技能視點看 ,所以現在從兩個軸向上改善模型:預練習和后練習。
從GPT-5開端