當前，大模型的訓練數據嚴重依賴(lài)現有的互聯(lián)網(wǎng)公開(kāi)數據。有 研究預測，到 2026 年大型語(yǔ)言模型的訓練就將耗盡互聯(lián)網(wǎng)上的可用 文本數據，未來(lái)需要借助合成數據解決大模型的數據瓶頸。目前， 合成數據正迅速向金融、醫療、零售、工業(yè)等諸多產(chǎn)業(yè)L域拓展應 用。根據 Gartner 預測，到 2024 年，60%用于 AI 開(kāi)發(fā)和分析的數據 將會(huì )是合成數據，到 2030 年，合成數據將成為 AI 模型所使用數據 的主要來(lái)源11。2024 年 6 月，英偉達正式發(fā)布全新開(kāi)源模型 Nemotron-4 340B，具體包括基礎模型 Base、指令模型 Instruct 和獎 勵模型 Reward 共三個(gè)模型。其中，指令模型 Instruct 的訓練僅依賴(lài) 大約 2 萬(wàn)條人工標注數據，其余用于監督微調和偏好微調的 98%以 上訓練數據都是通過(guò) Nemotron-4 340B SDG Pipeline 專(zhuān)用數據管道 合成。

當前，合成數據技術(shù)創(chuàng )新主要呈現以下幾大趨勢：

一是合成數據模型走向深度進(jìn)化。傳統的數據合成方法多依賴(lài)統計學(xué)和機器學(xué) 習的基本原理，當前數據合成技術(shù)聚焦于深度學(xué)習算法模型，特別 是生成對抗網(wǎng)絡(luò )(GANs)的廣泛應用。GANs 通過(guò)一對競爭性神經(jīng)網(wǎng) 絡(luò )—生成器和判別器的博弈過(guò)程，實(shí)現了前所未有的數據真實(shí)度與 多樣性，諸如 StyleGAN、BigGAN 等GJ變種網(wǎng)絡(luò )技術(shù)，J大拓寬數據合成的應用邊界。

二是多模態(tài)合成能力不斷突破。多模態(tài)合 成技術(shù)通過(guò)整合不同模態(tài)的特征表示，能夠同時(shí)生成聲音、視頻、 3D 模型等多種類(lèi)型的數據，不僅豐富了合成數據的維度，也促進(jìn)了 多模態(tài)理解和生成任務(wù)的進(jìn)步，為復雜場(chǎng)景應用（如自動(dòng)駕駛、虛 擬現實(shí)等）提供了重要的技術(shù)支持。

三是強化學(xué)習與合成數據逐漸融合發(fā)展。近期數據合成技術(shù)開(kāi)始與強化學(xué)習算法深度融合，用于 模擬復雜環(huán)境下的交互數據，幫助智能體在安全、成本效益G的虛 擬環(huán)境中學(xué)習策略。這種結合不僅解決了現實(shí)世界數據獲取難、風(fēng) 險G等問(wèn)題，還J大地提升了智能體的學(xué)習效率與適應能力，尤其 是在自動(dòng)駕駛、機器人導航等L域展現出巨大潛力。

四是隱私保護與合規性技術(shù)不斷增強。面對日益嚴格的個(gè)人數據保護法規，數據 合成技術(shù)創(chuàng )新性地提供了隱私保護解決方案—差分隱私、聯(lián)邦學(xué)習 與合成數據的結合，使得在不暴露原始敏感信息的前提下，也能生 成可用于訓練的G質(zhì)量數據集，這不僅保障了用戶(hù)隱私，也為金融 機構、醫療保健等行業(yè)利用 AI 技術(shù)創(chuàng )造了條件。