此次其改善的多模特練習練習機制采用了改善的教師監(jiān)督(Teacher Supervision)與字幕數(shù)據(jù)(Caption Data)來進步零樣本功能。邊沿設備上布置,視頻等數(shù)據(jù)的文本描繪信息 。進步了模型的語義掩蓋規(guī)劃,
在移動端,38個數(shù)據(jù)集上均勻功能均為最佳 。
02.
整合教師監(jiān)督模型與字幕數(shù)據(jù)
進步多模態(tài)模型語義掩蓋規(guī)劃
MobileCLIP2的多模態(tài)強化練習機制能夠將來自多個來歷的常識高效地蒸餾到較小的模型中 ,數(shù)據(jù)生成代碼開源,
模型的預練習權重鏈接 :
https://github.com/apple/ml-mobileclip
強化練習的數(shù)據(jù)生成代碼鏈接:
https://github.com/apple/ml-mobileclip-dr
GitHub鏈接:
https://github.com/apple/ml-mobileclip
Hugging Face鏈接:
https://huggingface.co/collections/apple/mobileclip2-68ac947dcb035c54bcd20c47
論文地址:
https://arxiv.org/html/2508.20691v1