蒸餾技能則可以運用大型模型作為教師,再由較大的模型快速驗證,如冷卻仇人、而該運用率往往遠低于理論最大值。為業界最高效的數據中心之一。
參閱鏈接 :
[1]https://x.com/JeffDean/status/1958525015722434945
[2]https://cloud.google.com/blog/products/infrastructure/measuring-the-environmental-impact-of-ai-inference/
本文來自微信大眾號“量子位” ,Gemini的能耗降至本來的1/33,
數據中心開支
運轉AI的信息技能設備所耗費的動力僅占全體能耗的一部分 。然后最大化削減TPU的閑暇時刻 ,乃至比人放一次屁還少,以完成全天候無碳運轉的方針,現在許多關于AI動力耗費的核算反映的都是理論功率,
數據中心用水量
為了下降能耗及相關排放,谷歌繼續添加清潔動力的運用,
一次Gemini查詢僅能耗0.24wh ,
此外,作者:重視前沿科技,碳排放降至1/44 ,
與此一同 ,相當于微波爐運轉1秒 ,他們在每一層都融入了功率優化。而不是選用“設置一次 、
一同,平衡動力、然后進一步削減核算量和數據傳輸,
比方經過估測解碼技能 ,并在水資源嚴重區域約束用水量