· 極限緊縮與蒸餾
結(jié)合SFT、保證單張A10GGPU(22GiB)即可支撐128k上下文。
Nemotron-Pretraining-Dataset-sample :數(shù)據(jù)集的一個小規(guī)劃采樣版別供給了10個具有代表性的子集 ,研討生水平的學(xué)術(shù)文本
· 極限緊縮與蒸餾
結(jié)合SFT、保證單張A10GGPU(22GiB)即可支撐128k上下文。
Nemotron-Pretraining-Dataset-sample :數(shù)據(jù)集的一個小規(guī)劃采樣版別供給了10個具有代表性的子集 ,研討生水平的學(xué)術(shù)文本