創(chuàng )澤機器人 |
CHUANGZE ROBOT |
目前,智駕大模型沒(méi)有一個(gè)公允定義,并且產(chǎn)學(xué)研不同L域的專(zhuān)家對智駕大模型的定義也不一樣,但結合各專(zhuān)家的觀(guān)點(diǎn)來(lái)看,智駕大模型具備多模態(tài)輸入、自監督學(xué)習、端到端學(xué)習范式以及大規模參數的特征。但是,相比于通用類(lèi)大模型,智駕大模型的主要差異在于:部署難度G、數據維度廣以及模型設計復雜。
• 億歐智庫認為,智駕大模型指的是在云邊端一體化的架構下,利用云端算力優(yōu)勢訓練大規模多模態(tài)數據,然后再結合邊端的計算能力,通過(guò)多任務(wù)的學(xué)習和分布式訓 練為車(chē)輛提供更有效的感知融合效果與實(shí)時(shí)建圖方案,終讓車(chē)端實(shí)現與人類(lèi)司機行為和思維一致的感知、預測、規劃等能力。
• 智駕大模型重要的應用是數據閉環(huán),相比于傳統數據閉環(huán)而言,當前的數據閉環(huán)對自動(dòng)駕駛系統賦能多的主要是數據挖掘、自動(dòng)標注、模型訓練、仿真測試四個(gè) 應用方向。從感知側的數據采集開(kāi)始,會(huì )先根據篩選器的設置來(lái)進(jìn)行數據挖掘,隨后通過(guò)自動(dòng)化標注來(lái)對數據打標簽,再對原模型反復訓練并經(jīng)過(guò)仿真測試后,后 對車(chē)端小模型進(jìn)行優(yōu)化,在經(jīng)過(guò)反復地不斷迭代循環(huán)后,使得整個(gè)數據閉環(huán)能力能夠不斷提升。
• 對于已布局或正將布局的企業(yè),智駕大模型玩家主要可分為四類(lèi),其中新勢力主機廠(chǎng)以自研為主,而傳統主機廠(chǎng)持有保守觀(guān)望的態(tài)度;科技企業(yè)憑借強大的AI技術(shù)背 景和資本實(shí)力,構建了以云服務(wù)為基礎的垂直服務(wù)體系;Tier1以自研基于BEV感知的垂域大模型為主;芯片企業(yè)主要是優(yōu)化芯片的開(kāi)發(fā)生態(tài),以便客戶(hù)能在自家芯片 上更容易地部署BEV+Transformer等大規模參數的模型。
2021年,特斯拉提出了BEV+Transformer的大模型,該模型也成為了之后國內玩家布局大模型的基礎。至2023年,智駕相關(guān)大模型開(kāi)始大量出現, 如華為盤(pán)古大模型、百度文心大模型、毫末DriveGPT等。
從多傳感器的融合趨勢來(lái)看,目標級融合(后融合)是當前行業(yè)內主流的融合方案,雖然算法開(kāi)發(fā)難度較低,但融合精度較低、關(guān)鍵信息易缺失, 不適合未來(lái)融合趨勢的發(fā)展。數據級融合(前融合)是行業(yè)發(fā)展的目標,但技術(shù)壁壘G,短期內方案落地較難。所以,在不丟失關(guān)鍵信息的基礎上, 特征級融合(中融合)成為了一種合適的中間過(guò)渡形態(tài),也更適合在當前流行的Bev+Transformer模型架構下,實(shí)現大規模多模態(tài)數據的融合。
基于規則算法的目標級融合方案,只能識別出目標物的部分特征,甚至會(huì )出現無(wú)法識別目標物的情況,導致在終融合結果上出現誤報、漏報等情 況。相反,基于BEV+Transformer的特征級融合方案,可以通過(guò)注意力機制提取目標物特征,并在鳥(niǎo)瞰圖下“腦補”出完整的目標物信息,有利 于提G整體感知融合精度。
![]() |
機器人底盤(pán) Disinfection Robot 消毒機器人 講解機器人 迎賓機器人 移動(dòng)機器人底盤(pán) 商用機器人 智能垃圾站 智能服務(wù)機器人 大屏機器人 霧化消毒機器人 紫外線(xiàn)消毒機器人 消毒機器人價(jià)格 展廳機器人 服務(wù)機器人底盤(pán) 核酸采樣機器人 機器人代工廠(chǎng) 智能配送機器人 噴霧消毒機器人 圖書(shū)館機器人 導引機器人 移動(dòng)消毒機器人 導診機器人 迎賓接待機器人 前臺機器人 消殺機器人 導覽機器人 |