python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton
發送懇求
這是一個通過額定練習的模型 ,地址:
https://github.com/sgl-project/sglang/
運用以下指令發動推理服務器。
Grok-2于2024年完結練習 ,衍生品或輸出(包括生成的數據)來練習、上干貨 :
開源了什么?
xAI本次向一切用戶開源了Grok-2以下中心部分 :
模型權重
模型架構
Grok-2開源版別技能特色
這個開源的「大腦」具有十分強壯的技能標準


