2022汽車半導(dǎo)體生態(tài)峰會(huì)演講實(shí)錄|超威半導(dǎo)體花盛：AMD在高性能傳感器融合中的實(shí)踐/FPGA in High Performa

以“智鏈未來 本立而道生”為主題的“2022張江汽車半導(dǎo)體生態(tài)峰會(huì)暨全球汽車電子博覽會(huì)”由《中國汽車報(bào)》社主辦，張江高科、愛集微、浦東新區(qū)投資促進(jìn)二中心承辦，11月7日-8日在上海張江科學(xué)會(huì)堂隆重舉行。

本屆峰會(huì)邀請了以半導(dǎo)體為核心的全球智能網(wǎng)聯(lián)汽車生態(tài)鏈企業(yè)高管、知名分析師與投資機(jī)構(gòu)、中外行業(yè)大咖參加，瞄準(zhǔn)新智能汽車與能源汽車技術(shù)前沿，就科創(chuàng)+產(chǎn)業(yè)+金融進(jìn)行深度交流，為汽車半導(dǎo)體產(chǎn)業(yè)發(fā)展貢獻(xiàn)智慧和力量。同時(shí)，通過趨勢分享、前沿技術(shù)碰撞、投資邏輯解讀以及全球汽車電子博覽會(huì)，共同探討全球巨變下的汽車半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，為業(yè)界充分展示汽車電子最新發(fā)展成果與趨勢，打造國際化一流汽車半導(dǎo)體領(lǐng)域展示平臺(tái)。

其中，在11月7日舉辦的“感知專場”，超威半導(dǎo)體產(chǎn)品（中國）有限公司大中華區(qū)汽車業(yè)務(wù)拓展高級經(jīng)理花盛做了題為《AMD在高性能傳感器融合中的實(shí)踐/FPGA in High Performance Sensor Fusion》的精彩演講，以下內(nèi)容為現(xiàn)場演講實(shí)錄：

花盛：大家上午好，我是花盛，來自超威。我今天討論的主要主題是兩大部分，一個(gè)是AMD在高性能傳感器融合中的特點(diǎn)，然后是傳感器融合項(xiàng)目實(shí)踐的介紹。

超威半導(dǎo)體產(chǎn)品（中國）有限公司 大中華區(qū)汽車業(yè)務(wù)拓展高級經(jīng)理 花盛 

首先介紹一下我們部門的主要板塊，第一部分是FPGA部分，第二部分是SoC部分，第三部分ACAP平臺(tái)，這個(gè)是以業(yè)界最領(lǐng)先的7納米技術(shù)集成的。在這三個(gè)大的業(yè)務(wù)模塊基礎(chǔ)之上，我們一直在思考一個(gè)問題，在整個(gè)汽車行業(yè)，哪些是我們的特點(diǎn)，以及我們可以提供哪些跟其他的競爭對手、行業(yè)伙伴不一樣的地方。我們思考下來主要分四個(gè)大的部分，首先第一個(gè)，高性能AI加速模塊，可以提供超低延時(shí)，可以帶來更高的精確性，這兩個(gè)特點(diǎn)能夠加速到這個(gè)部分的落地和實(shí)現(xiàn)。第二個(gè)部分，我們非常具有特色的一個(gè)可擴(kuò)展性和靈活性，這個(gè)擴(kuò)展性和靈活性可能大家覺得比較抽象，如果落實(shí)到具體地方，會(huì)發(fā)現(xiàn)在今天汽車行業(yè)里面是非常具有實(shí)現(xiàn)意義的。第三個(gè)部分，動(dòng)態(tài)可配置的功能模塊，它是一個(gè)硬件可升級的過程，我們通常理解它在汽車上，其實(shí)是對于功能的修改或者對于BUG的改進(jìn)，硬件可升級的意思，我可以做毫秒級別之間把功能模塊進(jìn)行重構(gòu)，我可以在不進(jìn)行硬件大的變更的情況下，重構(gòu)出具有新的功能、新的模塊的一個(gè)功能，這對于整車廠來講是非常又意義的，比如說未來在AD領(lǐng)域，無論是減少成本還是增加功能，包括提升性能，都需要對硬件進(jìn)行一個(gè)非常重要的變更。第四個(gè)部分，功能安全和可靠性，在這個(gè)部分從我們第一天開始就跟國際一線的大廠、一線的OEM廠商進(jìn)行合作。這四大業(yè)務(wù)特性是我們部門能夠給到汽車行業(yè)帶來的革新和我們不同的地方。

回到今天的主題，在傳感器融合領(lǐng)域到底是什么樣的情況，首先定義大家比較清楚，我不過多贅述了。左邊這張圖，除了激光雷達(dá)、毫米波雷達(dá)，包括攝像頭、傳感器的接入之外，每一種傳感器都有自己不同的特點(diǎn)特性，以及它所照顧的空間，尤其是各種物理特性、各種不同路況所決定的。但是不能保證任何一個(gè)傳感器可以照顧所有的內(nèi)容，整個(gè)業(yè)界的方向是朝多傳感器融合以及多傳感器接入的方式進(jìn)行演進(jìn)。定義上是這樣，它的優(yōu)勢在于，第一可以增加整個(gè)傳感器的安全性、精確性，以及帶來更具體的點(diǎn)云密度，帶來數(shù)據(jù)的可靠性、穩(wěn)健性。同時(shí)它對于整個(gè)傳感器所能看到的視野帶來非常大的提升。

綜上來講，多傳感器融合是AD這個(gè)領(lǐng)域的典型方向，也是每個(gè)廠商和同業(yè)者都在努力的一個(gè)領(lǐng)域。同時(shí)我們也要看到，雖然傳感器融合是一個(gè)方向，但是同時(shí)帶來了非常多的挑戰(zhàn)，主要存在于三個(gè)方面，第一是安全性，包括數(shù)據(jù)安全和整個(gè)系統(tǒng)的穩(wěn)健性。安全來講主要是兩大方面，第一是低延時(shí)，你需要提供足夠快的處理、更精確的時(shí)間，才能給后臺(tái)做更多融合性的工作，同時(shí)給后臺(tái)算法預(yù)留反應(yīng)時(shí)間。還有它的冗余性，怎么樣保證數(shù)據(jù)融合、數(shù)據(jù)冗余以及數(shù)據(jù)斷路保護(hù)。第二個(gè)大的挑戰(zhàn)，對行業(yè)來講是多樣性。目前為止，整個(gè)行業(yè)并沒有一個(gè)準(zhǔn)確的答案，大家都在進(jìn)行多方的嘗試和探討。在多樣性的同時(shí)，每個(gè)傳感器都有自己的處理器，不同的處理器怎么樣進(jìn)行任務(wù)調(diào)度，互聯(lián)互通的問題，怎么實(shí)現(xiàn)數(shù)據(jù)互融。還有效率問題，效率不僅僅包括帶寬、融合，最終怎么樣實(shí)現(xiàn)整個(gè)系統(tǒng)的高效可靠的運(yùn)行，這是對多傳感器融合的挑戰(zhàn)和我們所需要解決的問題。

我們把挑戰(zhàn)講完了，我們AMD平臺(tái)怎么樣基于它的特性給整個(gè)傳感器融合領(lǐng)域提供哪些有幫助的地方。首先第一大部分，自適應(yīng)性和可擴(kuò)展性，自適應(yīng)是我們面對新的需求、挑戰(zhàn)、功能要求的時(shí)候，同時(shí)我們能快速不需要進(jìn)行大規(guī)模變更的基礎(chǔ)上，用我們當(dāng)前的平臺(tái)能夠適應(yīng)新功能，這是我們獨(dú)特的地方。同時(shí)不同的傳感器之間接口不同，帶寬不一樣，傳感器的特性不一樣，數(shù)據(jù)模式、數(shù)據(jù)格式都不一樣，怎么樣用我們的自適應(yīng)特點(diǎn)對它進(jìn)行融合，這是我們提供的優(yōu)勢。包括不同的接口、標(biāo)準(zhǔn)、協(xié)議的需求，這是自適應(yīng)和可擴(kuò)展性在整個(gè)傳感器融合領(lǐng)域帶來非常大的挑戰(zhàn)。

第二個(gè)是異構(gòu)計(jì)算，尤其是在汽車行業(yè)里面，異構(gòu)計(jì)算我們可以在這個(gè)里面帶來的，一個(gè)是高精度的時(shí)鐘，高可靠性、超低延時(shí)的計(jì)算方式，對于整個(gè)傳感器融合，尤其是大數(shù)據(jù)量接入、高帶寬領(lǐng)域的話，它有非常顯著的優(yōu)勢。

第三部分是并發(fā)機(jī)制，我們都知道它是并發(fā)性的，不需要頻繁垂直的讀取，不需要通過固定的計(jì)算模式進(jìn)行，所有的計(jì)算模式取決于當(dāng)前落地的邏輯，在底層芯片里面來實(shí)現(xiàn)。我們進(jìn)行的每一種計(jì)算都可以進(jìn)行重構(gòu)，可以進(jìn)行重新的設(shè)計(jì)，為當(dāng)前的應(yīng)用重新定制化一款計(jì)算芯片或者一個(gè)計(jì)算類型，這個(gè)是FPGA可以做到的，而且是FPGA特性的地方。

最后一個(gè)部分是AI加速領(lǐng)域，F(xiàn)PGA可以做更多的AI加速部分，而且AI不僅僅是后面需要?jiǎng)虞m上百兆算力的地方，你會(huì)發(fā)現(xiàn)很多數(shù)據(jù)相關(guān)的算法需要AI的加速，來對結(jié)果模型優(yōu)化，把這個(gè)數(shù)據(jù)或者說這些算力更多的卸載，來減輕后面AI算力的一些負(fù)擔(dān)。這是我們整套平臺(tái)能夠帶來的非常顯著的優(yōu)勢。

我們來看一下功能模塊，這是從L2到L4演進(jìn)大的模塊基礎(chǔ)，最左邊是各種各樣的傳感器，無論是數(shù)量多少還是品種多少，基本上可以通過物理方式換芯片，接入到我們多傳感器模塊里面。進(jìn)行融合之后，再跟后面的AI加速模塊或者高性能的處理器模塊進(jìn)行結(jié)果模型預(yù)算等等。今天咱們討論的主題，使用AMD這套平臺(tái)或者我們這個(gè)算力的特性，其實(shí)是非常有效的可以解決大帶寬、數(shù)據(jù)的并行流水以及低延時(shí)的特性。在這個(gè)地方更多的是傳感器融合，包括不同數(shù)據(jù)格式的規(guī)劃，都是我們可以做的。這樣一個(gè)功能模塊，更多關(guān)注的是左上角紅色的部分。

這是一線大廠考慮的功能模塊，以及傳感器的數(shù)量、類型，具體的數(shù)量不一一贅述的。第一數(shù)量非常龐大，而且數(shù)量非常多，前向最少2顆，后向使用激光雷達(dá)、毫米波雷達(dá)。使用這么多傳感器的同時(shí)，我們整套架構(gòu)怎么去做？我們會(huì)把它劃分成以下的幾個(gè)方向，首先是我們左邊的邊緣側(cè)傳感器部分，包括各種各樣CBS鏡頭，包括激光雷達(dá)和毫米波雷達(dá)，包括各種定位模塊，這種都是傳感器。傳感器第一層把它放到數(shù)據(jù)捕捉，里面包括傳統(tǒng)的數(shù)據(jù)接入、硬件通道怎么打通，包括下面是ISP的處理，下面還有通常的激光雷達(dá)或者毫米波雷達(dá)怎么進(jìn)行連接，包括千兆級別或者萬兆級別以太網(wǎng)，都是在第一級完成。

第二個(gè)，做數(shù)據(jù)融合，包括3D模型構(gòu)建，這些功能模塊可以分別在第二大部分來完成。完成這個(gè)部分之后，另外有兩個(gè)小模塊，本地我們可以進(jìn)行處理的視頻流，或者需要做一些，比如說圖像增強(qiáng)或者本地的一些圖像優(yōu)化，或者是我可以做一些裁剪，直接可以做到后面需要實(shí)時(shí)顯示的地方。有了電子后視鏡，很多情況下我并不需要后臺(tái)AI單元深度參與，我可以后面去做實(shí)時(shí)的顯示。

還有下面一個(gè)，F(xiàn)PGA本身這個(gè)部分或者我們大的計(jì)算平臺(tái)本身，里面可以完成部分的深度運(yùn)算，都是非常具有特點(diǎn)和能夠充分發(fā)揮計(jì)算類型和計(jì)算特點(diǎn)、計(jì)算效率的一些優(yōu)勢，這些部分都可以由它完成。如果全部丟到后面的AI加速單元里面去，第一是算力有限，第二是計(jì)算能力、計(jì)算類型并不適合某一類場景，這個(gè)更適合放在IPA這個(gè)部分。我們目前在做的，或者我們這個(gè)部門能夠做的，四個(gè)框的地方，這個(gè)框問題的話，你會(huì)發(fā)現(xiàn)這里面除了剛才說的幾個(gè)功能模塊之外，任何一個(gè)功能模塊如果需要我這邊處理，我可以進(jìn)行本土化處理、本土化運(yùn)算，如果不需要處理的話可以放到AI加速單元里面去。

還有冗余安全和可靠性，這里放了一些證書，我們整個(gè)完成證書、完成結(jié)果，包括流程認(rèn)證、工具認(rèn)證、芯片認(rèn)證，最終都是結(jié)果。實(shí)際上我們怎么樣服務(wù)客戶，服務(wù)客戶達(dá)到安全體系，這是核心的能力和需求。我們在國內(nèi)完成培養(yǎng)這套團(tuán)隊(duì)，對于整個(gè)汽車產(chǎn)品流程沒有特別清楚的認(rèn)識(shí)，我們一樣接過一兩年的服務(wù)，讓他們通過功能安全認(rèn)證，我想整個(gè)平臺(tái)是非常具有意義的。

講完了融合部分的特性，再講這個(gè)平臺(tái)上AMD做了哪些嘗試，以7納米Versal器件為例，左上角是ARM處理器的部分，中間紅色部分是傳統(tǒng)的邏輯器件，剛才我們說的一系列的動(dòng)作，雙位運(yùn)算、實(shí)時(shí)接入、低延時(shí)的特性，都是在紅色的邏輯模塊里面完成。右邊綠色部分是我們的AI加速單元，它可以進(jìn)行一些我們所需要的，無論是IT相關(guān)的，還是結(jié)果相關(guān)的，包括需要本地點(diǎn)云識(shí)別相關(guān)的AI運(yùn)算都可以在這里面完成。同時(shí)可以完成從低到幾十兆、高到兩百兆算力都可以在AI加速單元里面完成。下面是外設(shè)。

基于這樣一個(gè)平臺(tái)，我們做了哪些構(gòu)件？首先我們做的這個(gè)，我們以四顆200萬、兩顆800萬像素，基于這套硬件我們把結(jié)果融合之后，放到后面Host PC里面去，我們更多的是聚焦在傳感器融合這個(gè)部分，這個(gè)是硬件架構(gòu)。我們看一下軟件部分做了哪些東西，先從下面開始說，接入了激光雷達(dá)，同時(shí)把毫米波雷達(dá)接入進(jìn)來，這是我們的接入部分，同時(shí)會(huì)產(chǎn)生時(shí)鐘同步信號。經(jīng)過同步之后，我們跟后面四個(gè)200萬和兩個(gè)800萬的傳感器給它做同步曝光，把數(shù)據(jù)進(jìn)行寫入和訪問。我們本地除了完成接入之外，我們還有圖像解析的部分。我們下面還做了數(shù)據(jù)的規(guī)劃管理，這個(gè)傳感器數(shù)據(jù)，包括毫米波雷達(dá)數(shù)據(jù)進(jìn)來之后，需要算法相關(guān)的，我們構(gòu)建一套數(shù)據(jù)，對它進(jìn)行數(shù)據(jù)化規(guī)劃。這是第一代的項(xiàng)目，來做一個(gè)嘗試。

其實(shí)我們這邊沒有把AI加速單元包含進(jìn)來，這是我們準(zhǔn)備放在第二步做的。下一步我們會(huì)把內(nèi)部的AI加速器模塊充分利用起來，把這個(gè)加入進(jìn)來，去做一些運(yùn)算、點(diǎn)云，都可以在里面構(gòu)建和實(shí)時(shí)訪問。這是第二步。因?yàn)榻裉斓年P(guān)系，歡迎整個(gè)行業(yè)和伙伴跟我們討論，我們希望在這個(gè)平臺(tái)上大家一起共同前進(jìn)，把傳感器融合的領(lǐng)域往前更深一步，這是我們有待嘗試去做的一些地方。

這個(gè)是我們UI大概做的，是我們實(shí)驗(yàn)室的圖，上面劃紅圈的地方是每一幀圖像的幀號。這是UI，左邊是兩個(gè)800萬，因?yàn)?00萬像素我們選擇廣角和長焦，中間放了四個(gè)200萬像素，右上角和右下角分別放毫米波雷達(dá)和激光雷達(dá)。本身數(shù)據(jù)數(shù)量和類型是非常龐大的，整個(gè)平臺(tái)的優(yōu)質(zhì)我們還沒有完全發(fā)揮出來。

這是一個(gè)演示的視頻，因?yàn)檫@個(gè)時(shí)鐘同步的關(guān)系，你會(huì)發(fā)現(xiàn)每個(gè)時(shí)鐘沒有完成一樣，你把它截圖或者暫停以后，發(fā)現(xiàn)時(shí)鐘是相同的。

總結(jié)下來，今天討論的主題，第一傳感器融合是我們整個(gè)行業(yè)的路徑和趨勢，但同時(shí)也面臨著非常多的挑戰(zhàn)，這個(gè)挑戰(zhàn)我們這個(gè)平臺(tái)，計(jì)算的特點(diǎn)決定了它非常有優(yōu)勢，歡迎大家跟我們一起討論，希望在這個(gè)平臺(tái)上做更多的嘗試。

最后用一段視頻來結(jié)束我今天的部分，謝謝大家。

（注：以上速記內(nèi)容未經(jīng)本人確認(rèn)）