圖畫分類基準數據集ImageNet-1k上的基準測驗成果
MobileCLIP2系列模型在不同推遲條件下 ,便于開發者為進一步研討和快速原型規劃定制數據集強化 。準確性的功能。蘋果將一切模型變體的預練習權重、
現在 ,開發者能夠直接布置和進行基準測驗。一起最大極限下降練習或推理過程中的核算開支。為在移動設備上布置帶來的應戰,支撐開發者直接布置和進行基準測驗。介紹新一代多模態根底模型MobileCLIP2及其背面的多模態強化練習機制,應用于新使命以及習慣不同核算環境。且不獻身泛化才能、推遲約為后者的約40%。
MobileCLIP2專為零樣本分類和檢索使命規劃,經過多模態強化練習方法改善模型在端側的布置作用 ,其模型變體MobileCLIP2-S4在iPhone 12 Pro Max上測得的零樣本準確率可對標參數規劃更大的SigLIP-SO400M/14 。MobileCLIP2-B在圖畫分類基準數據集ImageNet-1k上的零樣本準確率進步了2.2% 。標題生成器集成,參數規劃在50~1.5億不等。MSCOCO-38k上進行后續微調 ,就能直接將預練習學到的通用常識遷移到不知道使命中。蘋果還發布了數據生成代碼,邊沿設備上布置 ,
零樣本目標進步能夠使模型在未經過特定使命、字幕生成教師模型(Captioner Teachers)經過兩階段協議進行晉級優化