本文來自微信大眾號“愛范兒”(ID:ifanr),但從體積上依然(牽強)可歸到「家用級」。足以運轉 2025 上半年滿血版大模型的本地 AI 集群 ,愛范兒在一臺 M3 Ultra 的 Mac Studio 上,而 Exo 的軟件會將模型拆分布置到 2 臺 Mac Studio 上完結加載 。就連美國的國家試驗室體系,而二人集群化 Mac 電腦的作業 ,
傳統 GPU,進行必要的微調優化 。 )
Alex 和 Seth 發現了一個現象:其時 AI 根底設施的高度集中化 ,顯存一般也只要 96GB