2023汽車半導(dǎo)體生態(tài)峰會 || 中汽創(chuàng)智張振林：面向量產(chǎn)的智能駕駛感知研發(fā)與實踐

以“鏈啟芯程 · 智造未來”為主題的“2023汽車半導(dǎo)體生態(tài)峰會暨全球汽車電子博覽會”，由廣東省工業(yè)和信息化廳、深圳市工業(yè)和信息化局、中國能源汽車傳播集團(tuán)指導(dǎo)，《中國汽車報》社主辦，愛集微承辦，于2023年9月26日至27日在深圳福田會議中心隆重召開。

本屆峰會堅持行業(yè)領(lǐng)袖峰會的高端定位，全面助力產(chǎn)業(yè)間深度融合與創(chuàng)新，推動上下游產(chǎn)業(yè)鏈伙伴攜手合作，共同構(gòu)建具有全球競爭力的汽車科技創(chuàng)新新生態(tài)。

峰會現(xiàn)場，多領(lǐng)域、多視角開展的20場特色活動，囊括主峰會、技術(shù)研討、項目路演、專業(yè)展覽、交流盛宴等，匯聚政、產(chǎn)、學(xué)、研、用、投等多個產(chǎn)業(yè)圈層，圍繞全球及中國汽車半導(dǎo)體產(chǎn)業(yè)熱點展開交流，峰會重點聚焦新技術(shù)、新趨勢，深入剖析汽車半導(dǎo)體各細(xì)分領(lǐng)域的發(fā)展機(jī)遇和挑戰(zhàn)，近百個精彩紛呈的演講，共同呈現(xiàn)出一幅專業(yè)而全面的思維圖景。

其中，在9月26日舉辦的“感知專場”，中汽創(chuàng)智科技有限公司智能駕駛首席技術(shù)官張振林做了題為《面向量產(chǎn)的智能駕駛感知研發(fā)與實踐》的精彩演講。以下內(nèi)容為現(xiàn)場演講實錄：

張振林：非常高興有這樣的機(jī)會來跟大家分享一下中汽創(chuàng)智在自動駕駛特別是感知領(lǐng)域所做的一些思考和嘗試。

中汽創(chuàng)智科技有限公司智能駕駛首席技術(shù)官 張振林

首先跟大家簡單分享一下從我們的視角看，自動駕駛行業(yè)所面臨的趨勢和挑戰(zhàn)。

就像剛剛主持人提到，自動駕駛比作人類的司機(jī)，感知就相當(dāng)于人類的五官，特別是現(xiàn)在在車端的搭載方面，一些核心的傳感器，包括激光雷達(dá)、攝像頭、毫米波雷達(dá)，性能不斷提升、成本不斷下降，而且車規(guī)化的搭載也越來越多。

自動駕駛從ADAS到L2級輔助駕駛，目前的市場占有率或者說搭載率已經(jīng)上升到30%甚至更多。我們認(rèn)為自動駕駛已經(jīng)進(jìn)入到全場景量產(chǎn)落地的時期，但是在全場景落地的過程中，從安全到成本、工程化、商業(yè)模式都充滿了未知數(shù)。

隨著自動駕駛的車端搭載量產(chǎn)落地，目前已經(jīng)基本形成了以特斯拉為代表的以視覺為主、多傳感器融合的方式。特別是現(xiàn)在視覺與多傳感器融合的BEV（Bird's Eye View，鳥瞰視角）感知端到端的大模型成為技術(shù)落地的一個大的趨勢和方向。

BEV的落地，背后涉及到大量的數(shù)據(jù)，包括測試?yán)锍?。特斯拉提到要超越人類的智能駕駛能力，至少需要百億公里駕駛數(shù)據(jù)。自動駕駛落地面臨著眾多的挑戰(zhàn)，任何數(shù)據(jù)的采集和獲取都面臨很多的困難，包括范圍受限、樣本不足，成本高昂。因為數(shù)據(jù)匱乏，導(dǎo)致算法的泛化性非常差，開發(fā)的進(jìn)展過程非常緩慢。同時目前仿真數(shù)據(jù)，特別是合成類數(shù)據(jù)的使用量還是不足的。

回到自動駕駛這一塊，感知系統(tǒng)作為我們的眼睛和五官，要研究的關(guān)鍵問題是什么？

我們列舉了感知系統(tǒng)要攻克的五大關(guān)鍵技術(shù)：一是模型泛化能力；二是模型能力；三是模型的計算效率，特別是對于CPU和GPU的計算效率；四是自動化標(biāo)注，在自動駕駛感知算法開發(fā)過程中，為了準(zhǔn)備神經(jīng)網(wǎng)絡(luò)所需要的大量數(shù)據(jù)，需要用自動化的標(biāo)注來替代人類的標(biāo)注，節(jié)省時間和成本；五是數(shù)據(jù)靈活性，使用仿真類數(shù)據(jù)和生成類數(shù)據(jù)提供更多場景的數(shù)據(jù)。

當(dāng)然我們在這一塊還是有信心的，特別是在全球自動駕駛感知技術(shù)處于快速的發(fā)展時期，中國在感知技術(shù)領(lǐng)域的專利數(shù)占據(jù)了全球的半壁江山，這也給了我們很大的信心。

感知技術(shù)除了剛才講的五大方向，它的核心無非是要解決包括目標(biāo)的檢測和追蹤、對道路的語義分割、對目標(biāo)深度的估計、對行為位置的估計，以及現(xiàn)在正在用BEV做的實時地圖的生成，這是我們現(xiàn)在重點研究的技術(shù)和方向。

大家知道在10年前一輛自動駕駛車要實現(xiàn)完全自動的駕駛是沒有問題的，但之所以到今天我們還在討論安全員要不要去掉，在某些地方還在進(jìn)行無安全員的示范運營和嘗試，其實背后就是要解決一些極端場景的問題，特別是中國的道路交通中非常有特色的行人亂穿、加塞、道路施工等場景。

要想解決這些場景，背后需要大量的高質(zhì)量的標(biāo)注數(shù)據(jù)，以及超高的算力提供支撐。但是在數(shù)據(jù)和算力背后，它的成本是誰都沒有辦法面對的問題。當(dāng)然前面講了數(shù)據(jù)，我這邊也提一下算力，去年年底我們買了一批A800的服務(wù)器，當(dāng)時的價格是80萬一臺，到今年一臺A800的訓(xùn)練服務(wù)器的價格已經(jīng)漲到120萬-150萬，所以這里面的成本是非常高的。

中汽創(chuàng)智怎么來解決這個問題？很多人可能對中汽創(chuàng)智不是很了解，我們其實也是一家比較新的公司，我們是2020年在國資委指導(dǎo)下，由中國一汽、東風(fēng)公司、兵裝集團(tuán)、長安汽車和南京江寧經(jīng)開科技，共同投資160億成立的一家汽車科技公司，我們聚焦在智能底盤、新能動力、智能網(wǎng)聯(lián)三大領(lǐng)域，目前主要為我們的股東方提供賦能，同時也在開展相應(yīng)的合作。

結(jié)合中汽創(chuàng)智獨特的定位，我們也一直在思考怎么提高自動駕駛的算法性能，同時降低相關(guān)的成本。在之前我們的三家股東方，包括一汽、東風(fēng)、長安，他們都有自動駕駛的研發(fā)團(tuán)隊，現(xiàn)在任何一家整車廠和任何一家自動駕駛公司都是這么做的，面臨的問題是數(shù)據(jù)樣本十分受限、算力成本非常高昂、模型泛化的能力不足。

我們最近正在建設(shè)“基于數(shù)據(jù)聯(lián)盟的AI基礎(chǔ)服務(wù)平臺”。通過共采、共標(biāo)、共享交易和提供基礎(chǔ)模型的方式，結(jié)合大數(shù)據(jù)、大模型來打造AI技術(shù)服務(wù)平臺，打通數(shù)據(jù)壁壘，把算力進(jìn)行整合。最終實現(xiàn)大模型的開發(fā)，為股東方提供基礎(chǔ)模型。

我們從基礎(chǔ)服務(wù)的云存儲、計算以及各家的數(shù)據(jù)，都是由他們各家自己做開發(fā)，相關(guān)的數(shù)據(jù)和算力，我們會統(tǒng)一同時接入到我們在做的AI技術(shù)服務(wù)平臺上。在這個平臺上，我們對所有的數(shù)據(jù)進(jìn)行合規(guī)化的處理，從數(shù)據(jù)的采集、預(yù)處理到合規(guī)化，再到標(biāo)注、場景挖掘，整個過程通過合規(guī)的方式來進(jìn)行。同時，在整個數(shù)據(jù)里面，數(shù)據(jù)的所有權(quán)仍然屬于每一家聯(lián)盟方，由我們在合規(guī)的情況下推動數(shù)據(jù)的交易和共享。在此基礎(chǔ)上，我們來開發(fā)大模型，特別是現(xiàn)在以BEV為核心的端到端的大模型，同時還有預(yù)訓(xùn)練大模型、場景挖掘大模型，最終賦能合作伙伴、聯(lián)盟方，進(jìn)行算法的開發(fā)。

（見PPT）這個數(shù)據(jù)閉環(huán)的流程大家已經(jīng)非常熟悉了，我們現(xiàn)在通過“基于數(shù)據(jù)聯(lián)盟的AI基礎(chǔ)服務(wù)平臺”統(tǒng)一采集標(biāo)注，用預(yù)處理工具、標(biāo)注工具，推動數(shù)據(jù)交易。采集的時間和資金的用量會大幅度縮短，合規(guī)性滿足國家對自動駕駛在整個過程中的要求，極大縮短開發(fā)周期，同時節(jié)省資金。

中汽創(chuàng)智雖然是很年輕的公司，但是我們也做了很多的工作，具備了很強(qiáng)的能力。首先我們具備了甲級互聯(lián)網(wǎng)地圖服務(wù)測繪資質(zhì)，還有合規(guī)工具、數(shù)據(jù)閉環(huán)工具、交易工具，我們也拿到了央企數(shù)字化轉(zhuǎn)型典型場景的證書，我們正在跟國資委進(jìn)行相應(yīng)的央企數(shù)據(jù)要素確權(quán)保護(hù)課題的研究合作。

接下來分享一下中汽創(chuàng)智目前的一些進(jìn)展。

剛剛我花了很多時間在講數(shù)據(jù)來源，數(shù)據(jù)拿過來之后我們怎么用？首先是基于數(shù)據(jù)驅(qū)動，我們自研了一個跨平臺解耦式感知和融合技術(shù)，支撐L2到L4的感知需求，包括前視、BEV周視、環(huán)視、激光雷達(dá)檢測、路端檢測。這套感知算法也是為了解決卡脖子的問題，我們實現(xiàn)了多個平臺的兼容，包括華為的MDC、黑芝麻A1000，地平線J5、Orin和其它的自主芯片平臺。在整個過程中，我們的跨平臺，包括檢測的類別非常豐富，資源的占用率很低，特別適用現(xiàn)在一些低算力的平臺，算法的性能相對來說也是比較優(yōu)秀的。

我們目前正在從傳統(tǒng)感知，包括二維圖像感知、二維單幀圖像感知到人工編制，往下一代感知進(jìn)行研發(fā)和躍進(jìn)，這里面包括視頻流感知、多相機(jī)BEV感知、融合相機(jī)和激光雷達(dá)的前融合、多模態(tài)感知等等。在背后的數(shù)據(jù)上，我們有多傳感器視頻數(shù)據(jù)、長尾數(shù)據(jù)挖掘系統(tǒng)，同時在這些數(shù)據(jù)的處理和標(biāo)注方面，我們引入了預(yù)標(biāo)注大模型，用自動化融合標(biāo)注取代人工標(biāo)注。

這里給大家看看我們目前做的一些效果。我們這套感知算法實現(xiàn)了軟硬解耦，包括前視目標(biāo)檢測，我們支持檢測150米的范圍內(nèi)的行人、騎行車、交通燈、標(biāo)牌等。周視方面我們支持2D、單目3D和BEV三種方案，也是為了適應(yīng)不同的算力和芯片的限制。環(huán)視方面主要是用于自動泊車的場景。點云這一塊，包括我們的目標(biāo)檢測、可行駛區(qū)域、靜態(tài)車道線的識別功能。

我們也開發(fā)了一套基于BEV架構(gòu)的新一代感知，在一階段的時候我們在BEV的空間里對圖像的特征和提取的點云特征進(jìn)行視角轉(zhuǎn)變，對BEV的特征做時序融合。二階段再對它進(jìn)行特征提取，直接輸出BEV感知所需要的特征要素。這一套算法我們不僅僅是基于傳統(tǒng)的道路上的交通參與者的動態(tài)目標(biāo)，同時也在以目前的重感知、輕地圖的方式進(jìn)行道路的靜態(tài)要素的感知。

（見PPT）給大家看看我們目前在不同的場景下，包括高速、城區(qū)的融合感知，包括在城區(qū)BEV矢量地圖的感知。

既然要做多傳感器的融合，感知的背后有一套非常精準(zhǔn)的時空同步，包括多傳感器標(biāo)定的方案，就是支撐它落地的基礎(chǔ)，目前我們做到了像素級的匹配和精度。

剛剛提到重感知、輕地圖研發(fā)的策略，也是為了解決目前國家對我們自動駕駛開發(fā)過程中安全合規(guī)的問題，以及高精度地圖的準(zhǔn)確度，以及使用中較高的依賴問題，特別是限速、匝道、道路施工、范圍受限等，還是結(jié)合BEV這套算法來解決對于高精度地圖的依賴。

我們開發(fā)的這套大模型，利用大小兩個模型對同一圖像的推理差異，篩選有標(biāo)注價值的圖像，這也是提高模型性能、節(jié)約成本的一個非常重要的手段。在BEV的背后需要有很好的標(biāo)注手段，目前我們在逐步取代純?nèi)斯さ耐ㄟ^2D、3D聯(lián)合標(biāo)注的方式，采用自動化的方式來進(jìn)行標(biāo)注，目前我們的自動化標(biāo)注項目對效率的提升已經(jīng)達(dá)到了50%，我們的目標(biāo)是明年它的效率提高能達(dá)到75%。

結(jié)合我們這些感知，我們推出了兩個產(chǎn)品，一個是領(lǐng)航Lite，一個是領(lǐng)航Pro，分別針對100Tops的算力和100-250Tops的算力，在城區(qū)全場景的行泊一體解決方案。

這是我們目前的自動駕駛的視頻，從城區(qū)、上匝道到在高速上行駛，在紅旗汽車上實現(xiàn)了全程無人工干預(yù)的自動駕駛。

目前這套算法也是結(jié)合我們現(xiàn)在的準(zhǔn)視覺方案，在相對復(fù)雜的城區(qū)和高速上進(jìn)行自動駕駛。

剛剛提到的這些我們所面臨的機(jī)會和挑戰(zhàn)、我們現(xiàn)在在做的工作，我們面向行業(yè)發(fā)出呼吁，讓我們共同推進(jìn)自動駕駛包括從數(shù)據(jù)的合規(guī)、數(shù)據(jù)的共享和交易，共同推動中國自動駕駛落地場景加速實現(xiàn)。