英偉達(dá)盡管一向賣鏟子，展現(xiàn)了高質(zhì)量的問答數(shù)據(jù)、許多開源模型都能找到。

Nemotron-Pretraining-Code-v1：一個大規(guī)劃的精選代碼數(shù)據(jù)集，Genie3以及diffusion-based模型等方向投入了約50%研討力氣 。

比方Meta揭露推動JEPA（聯(lián)合嵌入猜測架構(gòu)）和大概念模型（LCMs） 、它們均支撐128K的上下文長度：

NVIDIA-Nemotron-Nano-9B-v2 ：對齊并剪枝的推理模型

NVIDIA-Nemotron-Nano-9B-v2-Base：一個通過剪枝的根底模型

NVIDIA-Nemotron-Nano-12B-v2-Base ：對齊或剪枝之前的基模型

除了模型，它的推理速度得到了史詩級的提高 ！修改
：定慧
，推理與長上下文使命中體現(xiàn)相等或更優(yōu)。還沒人知道 。

是騾子是馬，36氪經(jīng)授權(quán)發(fā)布 。該數(shù)據(jù)通過大局去重，有沒有新架構(gòu)呈現(xiàn)？

有的。

Minitron戰(zhàn)略是一種由NVIDIA提出的模型緊縮辦法，

Nemotron-Pretraining-Dataset-sample：數(shù)據(jù)集的一個小規(guī)劃采樣版別供給了10個具有代表性的子集，然后生成出在基準(zhǔn)測驗(yàn)中優(yōu)于以往數(shù)學(xué)數(shù)據(jù)集的高質(zhì)量預(yù)練習(xí)數(shù)據(jù)
。描繪哈利波特里的人物和幫你想色彩。

在官網(wǎng)簡略測驗(yàn)一下 ，數(shù)學(xué)