從單模態(tài)到多模態(tài)，大模型賽道正掀起新一輪技術(shù)軍備競賽。

與過去基于單一類別數(shù)據(jù)進行模型訓(xùn)練不同，所謂多模態(tài)大模型，能夠?qū)⒄Z音、文字、圖像、手勢、視頻等多種模態(tài)的數(shù)據(jù)進行聯(lián)合訓(xùn)練和學(xué)習(xí)，從而充分捕捉不同模態(tài)之間的關(guān)聯(lián)和互補信息，實現(xiàn)更全面、準確的分析和預(yù)測。

比如對于智能汽車而言，通過多模態(tài)大模型出色的分析、推理能力，不僅能實現(xiàn)更加安全、類人的智駕體驗，還可以打造更加豐富且自然的人機交互體驗。

近日，在WAIC 2024上，商湯絕影就展示了多款基于全新發(fā)布的商湯“日日新5.5”原生多模態(tài)大模型打造的智能駕駛和智能座艙產(chǎn)品，包括可解釋、可交互的自動駕駛大模型DriveAGI，以及車載生成式交互界面“隨心界面”（FlexInterface）、“隨意操控”（AgentFlow）等，以多模態(tài)大模型為核心，驅(qū)動智能汽車加速向真正的超級智能體進化。

雙線布局，加速大模型上車

在多模態(tài)大模型與智能汽車深度融合方面，商湯絕影主要聚焦兩大應(yīng)用場景：智能駕駛和智能座艙。

其中在智能駕駛方面，早在2022年底，商湯絕影曾率先于業(yè)內(nèi)推出了首個感知決策一體化自動駕駛通用模型UniAD，大幅提升智駕體驗的連續(xù)性和舒適性。

不過，商湯絕影認為，純粹的端到端自動駕駛模型并非自動駕駛的最終答案，進一步具備對開放世界的感知、推理、決策及交互能力，將是智能汽車走向超級智能體的重要標志。

圖片來源：商湯絕影

為此，在已有UniAD基礎(chǔ)上，商湯絕影基于多模態(tài)大模型進一步打造了用于駕駛決策規(guī)劃的智駕大模型DriveAGI，增強端到端系統(tǒng)可解釋性的同時，讓車輛能夠更像人一樣理解復(fù)雜的現(xiàn)實世界，甚至向用戶解釋駕駛決策的推理過程。

根據(jù)商湯絕影在WAIC 2024現(xiàn)場演示，得益于DriveAGI出色的分析推理能力，搭載了該模型的測試車能在無限寬標識的道路上，安全順利穿過兩個石墩形成的狹窄通道，同時還能準確辨識并理解包括公交車道、潮汐車道及施工車道等各類交通標識，并自主進行變道或規(guī)避，甚至當(dāng)后方有救護車接近時，DriveAGI也會通過思考推理及時變道避讓。

不僅如此，多模態(tài)大模型還賦予了DriveAGI強大的可交互性，用戶不僅可以通過問詢讓DriveAGI解釋自己的決策過程，還能通過語音或手勢指令來控制自動駕駛行為。

而在智能座艙方面，商湯絕影則正在打造多模態(tài)大模型引擎產(chǎn)品“座艙大腦”（CockpitBrain），目標構(gòu)建一系列AI大模型座艙產(chǎn)品矩陣。

圖片來源：商湯絕影

在本屆WAIC上，商湯絕影就發(fā)布了首個生成式交互界面產(chǎn)品“隨心界面”（FlexInterface）以及“隨意操控”（AgentFlow）等多個車載 AI Agent，以通過AI技術(shù)改變用戶與車載系統(tǒng)的交互方式。

依托AI大模型的即時生成和修改交互界面能力，F(xiàn)lexInterface在大模型解析用戶需求的基礎(chǔ)上，結(jié)合設(shè)計系統(tǒng)的框架和范式，可以實現(xiàn)高度動態(tài)和個性化的界面生成。無論天氣、時間、節(jié)日、紀念日，還是周圍環(huán)境變化，F(xiàn)lexInterface 都能自動變換界面風(fēng)格，提供最佳用戶體驗。

AgentFlow 通過大模型的推理能力，則可以模擬人類點擊操作，實現(xiàn)對APP和網(wǎng)站的直接操作。用戶只需使用自然語言，就能讓AI自主選擇多個工具完成復(fù)雜任務(wù)，無需主機廠進行額外的研發(fā)適配。例如，用戶能讓AgentFlow自動搜索并預(yù)約適合看球的酒吧，提供從搜索到預(yù)訂的一站式服務(wù)。

此外，在傳統(tǒng)智能汽車哨兵模式基礎(chǔ)上，商湯絕影還打造了“多模態(tài)哨兵”，能夠全面理解并應(yīng)對開放世界中可能對車輛造成損害的各種潛在隨機危險行為，諸如劃車、噴涂車身、拍打砸車、拉拽門把手、撬門以及踹車等，確保車輛安全無死角。

多模態(tài)車端部署，商湯絕影有“殺器”

作為復(fù)雜的智能移動終端，智能汽車由于深度融合了先進感知技術(shù)、AI算法、大數(shù)據(jù)及高性能計算平臺等應(yīng)用，同時在人機交互上天然具備觸覺、視覺、語音等多模態(tài)融合交互的特點，可謂多模態(tài)大模型落地的絕佳場景。

不過，由于智能汽車本身的獨特性，對安全和實時響應(yīng)要求非常高，決定了難以完全依靠云測大模型來滿足車端的多樣化需求，端云結(jié)合勢在必行。

圖片來源：商湯絕影

針對這一趨勢，商湯絕影專為多模態(tài)大模型打造了一個高性能計算引擎HyperPPL，通過集成大語言模型、多模態(tài)模型、CNN模型等，為多模態(tài)大模型落地車端提供強大的計算底座。

圖片來源：商湯絕影

據(jù)商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、絕影智能汽車事業(yè)群總裁王曉剛介紹，HyperPPL可以適配包括英偉達、高通、英特爾等在內(nèi)的多個主流車載計算平臺，并兼容多種主流操作系統(tǒng)。

同時，HyperPPL支持flash decode、segment prefill等400多個硬件算子，并對算子進行性能優(yōu)化，同時量化支持int8、int4模式，并支持訓(xùn)練后量化，從而實現(xiàn)極致推理效率。不僅如此，商湯絕影HyperPPL還針對車載多人場景進行了專門優(yōu)化，使得車內(nèi)多人并發(fā)情況下，車端多模態(tài)大模型的模型推理效率相比單人沒有明顯降低。

在本屆WAIC上，商湯絕影就對外展示了在3個不同算力平臺上運行2.1B或8B端側(cè)多模態(tài)大模型的適配能力。據(jù)悉，相較于動輒就有幾秒鐘延遲的云上部署方案，商湯絕影車載端側(cè)8B多模態(tài)模型可以實現(xiàn)首包延遲低至300毫秒以內(nèi)，推理速度40Tokens/秒。

值得一提的是，除了持續(xù)推進大模型技術(shù)和應(yīng)用革新，在量產(chǎn)落地方面商湯絕影也已經(jīng)取得了不錯的進展。

在智能座艙領(lǐng)域，商湯絕影的大模型產(chǎn)品已經(jīng)在多家車企的量產(chǎn)車型中廣泛應(yīng)用。例如，商湯的大模型已全面助力小米SU7的小愛語音助手車載語音場景應(yīng)用。6月25日，翼真 L380正式上市，該車也搭載了商湯絕影定制化打造的AI閑聊、美圖壁紙、童話繪本、AI問診等AI大模型座艙產(chǎn)品和功能。

而在智能駕駛領(lǐng)域，商湯絕影的量產(chǎn)智駕產(chǎn)品也已落地包括廣汽埃安LX Plus、哪吒S、昊鉑GT、紅旗等品牌及車型，且商湯絕影目前的多個量產(chǎn)智駕方案在未來均可升級為端到端架構(gòu)。

返回第一電動網(wǎng)首頁 >