從檢索圖像、描述視頻，到吟詩作賦、續寫文章，再到識別語音、雙語翻譯，虛擬人「小初」近日亮相二零二一年世界人工智能大會，展示了圖、文、音三種模態的智能轉換和生成。

　「小初」具備這樣的能力，得益於一個名為「紫東太初」的跨模態通用人工智能平台。該平台由中國科學院自動化研究所研發，基於國產化基礎軟硬件，僅採用一個大模型，即可「鍛煉」人工智能在視覺、文本、語音多個場景的理解能力。

　中科院自動化所所長徐波介紹，「大數據+大模型+多模態」將改變當前單一模型對應單一任務的人工智能研發範式，多模態大模型將成為不同領域的共性平台技術，是邁向通用人工智能的重要路徑探索。

　「『紫東太初』實現了圖、文、音三種模態的統一表達，以圖生音，以音生圖，將開拓AI在視頻配音、語音播報、標題摘要、海報創作等更多元場景的應用。」徐波說。

　據瞭解，中科院自動化所構建了中文預訓練模型、語音預訓練模型、視覺預訓練模型，並通過跨模態語義關聯，構建了三模態預訓練大模型。◇