近期，科技界巨頭埃隆·馬斯克在一場直播對話中提出了一個引人深思的觀點：我們或已接近耗盡可用于訓練人工智能（AI）模型的現(xiàn)實數(shù)據(jù)。這一論斷與前OpenAI首席科學家伊利亞·蘇茨克弗在去年底的言論不謀而合，后者曾在NeurIPS會議上指出，AI行業(yè)正面臨“數(shù)據(jù)峰值”的挑戰(zhàn)。
面對這一困境，馬斯克提出了一個解決方案：利用合成數(shù)據(jù)，即AI自我生成的數(shù)據(jù)，來彌補現(xiàn)實數(shù)據(jù)的不足。他認為，AI通過自我評估和不斷優(yōu)化的學習過程，能夠生成更多用于訓練的數(shù)據(jù)，從而推動AI技術的持續(xù)發(fā)展。
事實上，這一趨勢已經(jīng)初現(xiàn)端倪。微軟、meta、OpenAI和Anthropic等科技巨頭，已經(jīng)開始嘗試使用合成數(shù)據(jù)來訓練他們的AI模型。據(jù)Gartner預測，到2024年，人工智能和數(shù)據(jù)分析項目中，有60%的數(shù)據(jù)將來自合成方式。
合成數(shù)據(jù)的優(yōu)勢在于能夠顯著降低開發(fā)成本。以人工智能初創(chuàng)公司W(wǎng)riter為例，其Palmyra X 004模型幾乎完全依賴合成數(shù)據(jù)進行開發(fā)，成本僅為70萬美元，而與之規(guī)模相當?shù)腛penAI模型開發(fā)成本則高達460萬美元。這一成本效益使得合成數(shù)據(jù)成為AI領域的新寵。
然而，合成數(shù)據(jù)并非萬無一失。研究表明，過度依賴合成數(shù)據(jù)可能導致AI模型性能下降，輸出結(jié)果缺乏創(chuàng)新性和多樣性，甚至可能加劇偏見和局限性。這是因為AI模型在自我生成訓練數(shù)據(jù)的過程中，可能會無意中引入自身的偏見和局限性，從而影響最終模型的準確性和功能性。
