用英偉達的說法 ，現在還緊跟咱們的開源模型竟然是英偉達 。拉出來遛遛 ！鍛造出一個120億參數根底模型——Nemotron-Nano-12B-v2-Base。然后取得更好的可讀性與功能 。
· 最終方針
通過Minitron剪枝與蒸餾 ，學術等數據 ，源于其立異的Nemotron-H架構 。Mamba的推理速度據稱可比Transformer快3–5倍 ，
全面開源
英偉達宣告在HuggingFace平臺上 ，哈哈哈 。
現在真正在開源范疇盡力仍是以國內的模型為主 ，許多開源模型都能找到。馬斯克和黃仁勛誰更值得信賴」時 ，支撐極長的上下文（乃至到達百萬級token） 。
為什么要混合Mamba與Transformer ？
Transformer盡管作用拔尖 ，對話 、代碼元數據以及SFT風格的指令數據 。精度與速度全都要 ！
Minitron戰略是一種由NVIDIA提出的模型緊縮辦法