一起跑兩個 670 億參數(shù)大模型是什么體會 ？
4 臺頂配 M3 Ultra 的 Mac Studio 經(jīng)過 Thunderbolt 5 串聯(lián)后 ，
而這個小團隊的作業(yè) ，成功布置了 671B 的 DeepSeek 的本地大模型（4-bit 量化版） 。但從體積上依然（牽強）可歸到「家用級」 。他們在上一年 7 月啟動了第一次試驗 ，使得個人研討者和小型團隊被邊緣化 。一次只能請求一張卡，但其實徹底不是這樣。每秒只能輸出 3 個 token ，高帶寬 GPU 、
Exo Labs 創(chuàng)始人 Alex 和 Seth 結(jié)業(yè)于牛津大學(xué)——即便在這樣的頂尖高校做研討，
——就這樣，
并行推理