近日，智譜技術團隊在官方公眾號上宣布了一項重大進展，正式開源了名為CogAgent-9B-20241220的基座模型。這款模型是基于GLM-4V-9B進行訓練的，專為智能體（Agent）任務設計，具有極高的實用價值。
CogAgent-9B-20241220的最大特點是其獨特的輸入方式。與以往需要HTML等文本表征的模型不同，它僅需屏幕截圖作為輸入，便能根據(jù)用戶指定的任意任務，結合歷史操作，精準預測下一步的GUI（圖形用戶界面）操作。這一特性使得CogAgent能夠廣泛應用于個人電腦、手機、車機設備等基于GUI交互的各類場景。
相較于去年12月開源的第一版CogAgent模型，新版本在多個方面實現(xiàn)了顯著提升。在GUI感知、推理預測準確性、動作空間完善性、任務普適性和泛化性等方面，CogAgent-9B-20241220均展現(xiàn)出了卓越的性能。它還支持中英文雙語的屏幕截圖和語言交互，進一步拓寬了其應用范圍。
CogAgent的輸入簡潔明了，僅包含三部分：用戶的自然語言指令、已執(zhí)行的歷史動作記錄和GUI截圖。無需任何文本形式表征的布局信息或附加元素標簽，這使得模型的輸入處理更加高效和便捷。
CogAgent的輸出則涵蓋了四個方面，包括思考過程、下一步動作的自然語言描述、下一步動作的結構化描述以及下一步動作的敏感性判斷。其中，思考過程部分顯式輸出了模型理解GUI截圖和決定下一步操作的思考過程，包括狀態(tài)和計劃兩部分，輸出內容可通過參數(shù)進行控制。自然語言形式的動作描述被加入歷史操作記錄，便于模型理解已執(zhí)行的動作步驟。結構化描述則以類似函數(shù)調用的形式，描述了下一步操作及其參數(shù)，便于端側應用解析并執(zhí)行。
在動作空間方面，CogAgent包含了GUI操作和擬人行為兩類。GUI操作是基礎動作，如左鍵單擊、文本輸入等；而擬人行為則是高級動作，如應用啟動、調用語言模型等。模型還對下一步動作的敏感性進行了判斷，將動作分為“一般操作”和“敏感操作”兩類，后者指可能帶來難以挽回后果的動作。
為了驗證CogAgent-9B-20241220的性能，智譜技術團隊在多個數(shù)據(jù)集上進行了測試，并與GPT-4o-20240806、Claude-3.5-Sonnet、Qwen2-VL、ShowUI、SeeClick等模型進行了比較。結果顯示，CogAgent在多個數(shù)據(jù)集上均取得了領先的結果，充分證明了其在GUI Agent領域的強大實力。
