他提到，AGI 對標(biāo)的是人類智能：人類的智能本身是多元化的，除了語言的符號智能，還包括視覺智能、空間智能和運(yùn)動智能等等。這些智能的習(xí)得需要通過視覺和其他模態(tài)來進(jìn)行學(xué)習(xí)。因此，要實現(xiàn)對標(biāo)人類的 AGI，模型也必須具備處理多種模態(tài)信息的能力。

此外，在應(yīng)用層面來看，無論是垂直領(lǐng)域的應(yīng)用還是 C 端應(yīng)用，多模態(tài)都是必不可少。因為想讓 AI 更好地理解用戶所處的環(huán)境并進(jìn)行更自然的交流，它需要具備“能聽、能看、能說”的能力?！岸嗄B(tài)可以讓智能體充分地理解和感知這個世界?！苯箨空f。

在創(chuàng)立之初，階躍星辰就規(guī)劃了通往 AGI 的路線圖，包括三個階段：模擬世界—探索世界—?dú)w納世界。在姜大昕看來，當(dāng)下，整個行業(yè)的技術(shù)發(fā)展仍然處于非常陡峭的區(qū)間。

所以，當(dāng)下，公司依舊會堅持基礎(chǔ)大模型的研發(fā)，追求智能的上限：“行業(yè)變化太快，前兩年很厲害的 GPT-4都快下架了，階躍不想在這個過程中放棄主流增長或前進(jìn)的趨勢，因此會堅持做基礎(chǔ)模型的研發(fā)。追求 AGI是我們的初心?！?/p>

視覺理解生成一體化是關(guān)鍵問題

實現(xiàn)AGI，下一步大模型的主要發(fā)展趨勢是什么？

姜大昕認(rèn)為，未來的模型發(fā)展將沿著增強(qiáng)推理能力和實現(xiàn)多模理解生成一體化這兩個主要方向前進(jìn)。

首先，是在預(yù)訓(xùn)練的基礎(chǔ)模型上加入強(qiáng)化學(xué)習(xí)，激發(fā)推理的長思維鏈能力。這種強(qiáng)大的推理能力與多模態(tài)能力的結(jié)合，被認(rèn)為是 Agent 爆發(fā)的兩個必要條件之一。

此外，除了語言模型推理之外，另一個能力是如何把推理引入到多模態(tài)領(lǐng)域。因為 單純的視覺理解是有限的，引入推理后，模型能夠結(jié)合其感知能力和內(nèi)部知識，更深入地理解復(fù)雜的場景和情況。

第二個核心趨勢就是，視覺領(lǐng)域的理解生成一體化。這也是當(dāng)下多模態(tài)領(lǐng)域的核心問題?！袄斫馍梢惑w化是計算機(jī)視覺需要突破的一個堡壘，這對于預(yù)測下一幀、利用海量視頻進(jìn)行預(yù)訓(xùn)練、構(gòu)建世界模型、實現(xiàn)具身智能和機(jī)器人泛化至關(guān)重要。”

姜大昕進(jìn)一步解釋：“理解生成一體化的核心定義是理解和生成由同一個模型來完成，這在文本領(lǐng)域（如 ChatGPT）已經(jīng)實現(xiàn)，但在視覺領(lǐng)域，目前的模型在多模態(tài)領(lǐng)域理解和生成往往由不同的模型完成，理解生成一體化是核心問題。”

“生成需要理解來控制。理解需要生成來監(jiān)督”，姜大昕強(qiáng)調(diào)，生成的內(nèi)容需要理解來控制，以確保生成內(nèi)容有意義和有價值，理解需要生成來監(jiān)督，只有能夠生成，才能知道是否真正理解。如果能夠攻克這一難題，便能利用海量的視頻數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，并有望將計算機(jī)視覺的各項任務(wù)統(tǒng)一到一個模型之中。

盡管意義重大，視覺領(lǐng)域的理解生成一體化依然面臨著模態(tài)復(fù)雜度高的嚴(yán)峻挑戰(zhàn)，由于高維連續(xù)空間難以高效表達(dá)，目前尚未找到類似 Transformer 在文本領(lǐng)域那樣具有突破性的、可擴(kuò)展的架構(gòu)。近期出現(xiàn)的模型，例如 GPT-4o 的圖像編輯能力以及階躍星辰的 Step 1X-Edit，被認(rèn)為是理解生成一體化的初步嘗試，它們需要在理解圖像和指令的基礎(chǔ)上進(jìn)行內(nèi)容生成，并保持對原始圖像的忠實度。

據(jù)姜大昕透露，階躍星辰正在內(nèi)部探索多條技術(shù)路線，以期找到可擴(kuò)展的理解生成一體化架構(gòu)，實現(xiàn)視覺模態(tài)的“Transformer 時刻”。“ 在技術(shù)路線未收斂之前，并行探索多種可能的解決方案是必要的。”

“突破可能在瞬間發(fā)生，但難以預(yù)測何時到來。”姜大昕說。

雙輪驅(qū)動：超級模型+超級應(yīng)用

除了技術(shù)和方向，落地與應(yīng)用是另一關(guān)鍵議題。

階躍星辰早在今年2月的首屆生態(tài)開放日上便明確，下一步將戰(zhàn)略聚焦智能終端 Agent 方向，并重點布局汽車、手機(jī)、具身智能、IoT 等核心應(yīng)用場景。

姜大昕提到，Agent 爆發(fā)需要兩個必要的條件，一個是多模態(tài)的能力，另外一個是慢思考的能力，這兩個能力恰好在 2024 年的時候取得了突破性的進(jìn)展。

選擇智能終端方向，是因其作為用戶感知與體驗的延伸，能夠采集環(huán)境信息，助力 Agent 理解用戶所處環(huán)境及任務(wù)上下文。此外，終端亦能執(zhí)行任務(wù)，未來的 Agent 有望通過自然對話簡化復(fù)雜設(shè)備操作。目前，階躍星辰正積極與手機(jī)、汽車、機(jī)器人等終端領(lǐng)域的頭部企業(yè)合作，探索 Agent 的實際落地。

對于 AI 應(yīng)用的未來走向，姜大昕向藍(lán)鯨新聞指出，僅做應(yīng)用的公司可能面臨通用模型能力提升后被降維打擊的風(fēng)險。在關(guān)鍵的商業(yè)化方向上， 階躍星辰采取的是“超級模型加上超級應(yīng)用”的雙輪驅(qū)動策略。

姜大昕認(rèn)為，模型突破先于商業(yè)化，“通常是模型能力的突破先發(fā)生，然后才帶來商業(yè)化的成熟應(yīng)用。例如，GPT-3.5 的出現(xiàn)催生了 ChatGPT，多模融合和推理模型的進(jìn)步帶來了 Agent，而多模理解生成一體化（尤其是可擴(kuò)展的一體化）的實現(xiàn)，可能會進(jìn)一步解鎖人形機(jī)器人泛化和構(gòu)建世界模型等更大的應(yīng)用和價值?！?/p>

階躍專注于基礎(chǔ)模型能力，但也重視應(yīng)用，因為通用模型的能力需要通過應(yīng)用來牽引。例如，玩具場景中孩子說話停頓的問題在通用模型中不會出現(xiàn)，但解決這種問題可以促進(jìn)模型能力的提升。

“雙輪驅(qū)動策略使得階躍星辰能夠在堅持基礎(chǔ)模型研發(fā)，追求AGI的同時，通過與行業(yè)伙伴合作，在實際應(yīng)用場景中探索和落地Agent能力，形成從模型到Agent，從云側(cè)到端側(cè)的生態(tài)體系，實現(xiàn)軟硬件結(jié)合以更好地理解用戶需求和完成任務(wù)。”

姜大昕展望未來：“所有終端都可能 Agent 化，將原本冰冷的設(shè)備轉(zhuǎn)變?yōu)橛脩舻闹悄芑锇??！?/p>