他還預告,所以需求8張GPU(每張顯存大于40GB)。馬斯克曾預告了下一步路線圖——
8月將發布編碼模型,
這意味著它能夠一次性閱覽和處理十分長的文檔或對話前史(大約相當于一本200多頁的書),
什么?馬斯克總算開源了Grok-2!
混合專家架構 (MoE):這種架構能夠在不添加巨大計算成本的前提下,大幅擴展模型規劃,
【新智元導讀】Grok-2正式開源,總巨細大約為500GB。
Grok 4發布會上,
AI帝國正在興起 。其混合專家(MoE)架構在Grok-1的根底上進行了改善。下一個AI帝國誕生了。大佬點評
網友XFreeze稱 ,在推理時 ,每次會激活其間的1360億(136B)參數。
超長的上下文窗口:支撐高達131,072 (128k) token的上下文長度 。才可用于商業用途 。這使它成為現在最強壯的開源模型之一 。
有網友表明 ,超越它也是早晚的事」


