近日，科技巨頭meta與斯坦福大學攜手，共同推出了一個名為Apollo的全新AI模型系列，這一創新成果在提升機器對視頻內容的理解能力上取得了顯著突破。
長久以來，盡管人工智能在圖像處理和文本分析領域取得了長足進步，但讓機器真正“看懂”視頻仍然是一個極具挑戰性的難題。視頻中包含的動態信息錯綜復雜，處理起來不僅需要強大的計算能力作為支撐，更需要在系統設計層面進行精細化的考量。
針對視頻處理的復雜性，Apollo模型采用了雙組件設計。其中一個組件專注于分析單個視頻幀的內容，而另一個組件則負責追蹤對象和場景隨時間的變化。這種設計思路使得Apollo能夠更全面地捕捉視頻中的信息。
在模型訓練方面，meta與斯坦福大學的研究團隊發現，訓練方法的選擇比單純追求模型規模更為重要。Apollo模型采用了分階段訓練策略，按順序激活模型的不同部分，這種訓練方法相較于一次性訓練所有部分，能夠取得更好的效果。
研究團隊還對數據組合進行了不斷優化。他們發現，當數據組合中文本數據占比約為10%~14%，且其余部分略微偏向視頻內容時，能夠最好地平衡語言理解和視頻處理能力。這一發現為Apollo模型的訓練提供了有力的數據支持。
Apollo模型在不同規模上均展現出了卓越的性能。其中，較小的Apollo-3B模型已經超越了同等規模的Qwen2-VL等模型，而更大的Apollo-7B模型更是超過了參數更大的同類模型。這一系列成就充分證明了Apollo模型在視頻理解領域的領先地位。
為了推動AI技術的進一步發展，meta已經開源了Apollo模型的代碼和模型權重，并在Hugging Face平臺上提供了公開演示。這一舉措將有助于更多開發者和研究人員深入了解Apollo模型的工作原理，并基于其進行更深入的研究和應用開發。
