支撐極長的上下文（乃至到達(dá)百萬級token）
。

英偉達(dá)還做了3個小東西 ，面向數(shù)學(xué)的抽取內(nèi)容、但很或許也在儲藏新架構(gòu)。代碼元數(shù)據(jù)以及SFT風(fēng)格的指令數(shù)據(jù)。通過多階段去重 、該數(shù)據(jù)集被安排為四個類別：

Nemotron-CC-v2：Nemotron-CC（Su等