2023汽車半導(dǎo)體生態(tài)峰會 || 軒轅智駕鄧行：紅外熱成像技術(shù)在智能駕駛領(lǐng)域的應(yīng)用和展望

以“鏈啟芯程 · 智造未來”為主題的“2023汽車半導(dǎo)體生態(tài)峰會暨全球汽車電子博覽會”，由廣東省工業(yè)和信息化廳、深圳市工業(yè)和信息化局、中國能源汽車傳播集團指導(dǎo)，《中國汽車報》社主辦，愛集微承辦，于2023年9月26日至27日在深圳福田會議中心隆重召開。

本屆峰會堅持行業(yè)領(lǐng)袖峰會的高端定位，全面助力產(chǎn)業(yè)間深度融合與創(chuàng)新，推動上下游產(chǎn)業(yè)鏈伙伴攜手合作，共同構(gòu)建具有全球競爭力的汽車科技創(chuàng)新新生態(tài)。

峰會現(xiàn)場，多領(lǐng)域、多視角開展的20場特色活動，囊括主峰會、技術(shù)研討、項目路演、專業(yè)展覽、交流盛宴等，匯聚政、產(chǎn)、學(xué)、研、用、投等多個產(chǎn)業(yè)圈層，圍繞全球及中國汽車半導(dǎo)體產(chǎn)業(yè)熱點展開交流，峰會重點聚焦新技術(shù)、新趨勢，深入剖析汽車半導(dǎo)體各細(xì)分領(lǐng)域的發(fā)展機遇和挑戰(zhàn)，近百個精彩紛呈的演講，共同呈現(xiàn)出一幅專業(yè)而全面的思維圖景。

其中，在9月26日舉辦的“感知專場”， 武漢軒轅智駕科技有限公司產(chǎn)品總監(jiān)鄧行做了題為《紅外熱成像技術(shù)在智能駕駛領(lǐng)域的應(yīng)用和展望》的精彩演講。以下內(nèi)容為現(xiàn)場演講實錄：

鄧行：非常感謝主辦方的邀請，我給大家分享一下紅外熱成像技術(shù)在智能駕駛領(lǐng)域的應(yīng)用和展望。

武漢軒轅智駕科技有限公司產(chǎn)品總監(jiān) 鄧行

什么是紅外熱成像技術(shù)呢？自然界中一切溫度高于絕對零度的物體都能輻射紅外能量，比如現(xiàn)在在場的所有人和物體，都有熱輻射在對外輻射，它也是一種被捕捉的方式。我們的產(chǎn)品原理就是將紅外熱成像轉(zhuǎn)化成電信號，經(jīng)過圖象處理形成2D的可見熱像圖，并且反映出物體表面的溫度和分布的狀態(tài)。

這是紅外熱成像產(chǎn)品的功能和應(yīng)用。紅外熱成像的主要特點是全時感知，它在夜間無光、對向眩光、光線突變的環(huán)境下依然是可以正常成像，它是屬于對外界物體溫度的檢測，不受光線的影響，尤其是再也見環(huán)境和對向眩光的環(huán)境，這是它最大的特點。

這是在全天候場景的應(yīng)用，因為它是8到14微米的波長，屬于長波的紅外。它的波長是大于可見光，大氣穿透能力更強，在霧霾的天氣條件下依然可以清晰成像，解決了普通可見光傳感器在這種環(huán)境下的痛點。

根據(jù)專業(yè)的機構(gòu)統(tǒng)計，全國每年因為夜間的交通事故和霧天的交通事故傷亡的人數(shù)是非常高的。我們的產(chǎn)品的主要特點就是可以解決在夜間駕駛、惡劣天氣、光線突變的情況下，解決駕駛員視野受影響，通過我們的設(shè)備提升駕駛員的視野，可以有效預(yù)防事故的發(fā)生。

這是我們的解決方案的系統(tǒng)構(gòu)成，它通過10萬像素和30萬像素的攝像頭，加上一個控制核，進行預(yù)警。右下角是我們的產(chǎn)品工作狀態(tài)，它可以通過對人和車輛的檢測，通過預(yù)警的方式給到駕駛員提醒。

這是我們跟其它傳感器的對比，我們的紅外熱成像傳感器不是要替代可見光、雷達(dá)、毫米波雷達(dá)的產(chǎn)品，而是作為這幾個傳感器的冗余和補充。在空間分辨率和穿透能力方面它都不是最強的，屬于中間階層，但是它可以有效彌補夜間的眩光、低照度、雨霧雪天氣下的功能失效問題。

這是我們跟可見光傳感器在不同場景下的對比，包括陰天、白天、早高峰、晚高峰、隧道、環(huán)島的對比。包括在雨天、夜晚，可見光對雨珠的折射，對前面的成像有很大的影響，而我們的紅外依然是可以成像的。

這是我們在智能駕駛領(lǐng)域的應(yīng)用，在多傳感器里面主要是做紅外的行人檢測、車輛檢測。

紅外熱成像應(yīng)用的發(fā)展歷史。從2000年開始，國外已經(jīng)有廠商推出紅外熱成像，當(dāng)時在BBA這種高端的車型上才會匹配。到了2022年，紅外熱成像國產(chǎn)化以后，國內(nèi)的很多自主品牌發(fā)現(xiàn)了這種產(chǎn)品的價值，也就有了更多的應(yīng)用。

這是行業(yè)的調(diào)研，預(yù)測到2024年搭載紅外熱成像產(chǎn)品的車輛將超過50萬臺。

說到紅外熱成像，就介紹一下我們的母公司。我們的母公司高德紅外集團，是規(guī)模化從事紅外核心器件、紅外熱像儀、大型光電系統(tǒng)研發(fā)、生產(chǎn)、銷售的高新技術(shù)上市公司，目前在全球的紅外熱成像市場排名第二位，第一名是美國的菲力爾（FLIR）。我們的年銷售額超過32億，公司是1999年成立的，有24年的發(fā)展歷史，并且集團有4000名員工，研發(fā)占比超過60%，集團市值400億，在A股主板上市，擁有核心的MEMS潔凈廠房2萬平方米，占地200余畝。

軒轅智駕是高德紅外的子公司，我們從2016年開始專注于汽車高級輔助駕駛系統(tǒng)和智能座艙兩大品類。我們最早是做軍工產(chǎn)品的，包括夜視槍瞄、導(dǎo)彈跟蹤的技術(shù)，后來我們發(fā)現(xiàn)這個產(chǎn)品應(yīng)用在車載領(lǐng)域也是很有前景和推廣價值的，它可以提升夜間、低照度的視野，解決黑夜、霧霾、強光、眩光的復(fù)雜情況，所以我們就成立這樣一個公司來推廣這個產(chǎn)品。

這是紅外熱成像的發(fā)展歷程，第一代在2015年推出，用的還是國外的進口探測器，到現(xiàn)在第四代產(chǎn)品，我們自研晶圓PLCC封裝，體積做到和可見光攝像頭大小差不多。它的尺寸越來越小，越來越輕量化，更便利于主機廠的安裝和使用。隨著探測器的集成度提高，它的成本也越來越低，性價比有很大的提升。

這是我們的紅外算法的介紹，我們通過傳感器輸入一個圖像，神經(jīng)網(wǎng)絡(luò)特征提取，對數(shù)據(jù)霍去病處理，然后輸出一個碰撞預(yù)警功能。我們的產(chǎn)品可以對超過120米的車輛、超過90米的行人檢測，誤差小于5%。

這是我們目前產(chǎn)品的指標(biāo)，包括智能算法的兩個核心指標(biāo)：目標(biāo)檢測、目標(biāo)跟蹤，對人可以達(dá)到97%，對車可以達(dá)到95%，包括檢測率、召回率、跟蹤精度，都是跟可見光基本接近的。紅外熱成像和可見光屬于兩種不同場景的傳感器，可見光在白天的指標(biāo)更好，紅外熱成像這邊是屬于全天候場景下的指標(biāo)。

這是我們的算法數(shù)據(jù)庫的樣本規(guī)模，做算法離不開數(shù)據(jù)量，數(shù)據(jù)累積得越多，精度、能力肯定是更強的。目前我們總共有158萬幀的數(shù)據(jù)，人有120萬、車有150萬，此外我們也做了動物的檢測，我們做了50萬的樣本，包括騎行人有50萬、動物30萬，包括其它異形的車輛有20萬的標(biāo)注。

紅外是對溫差的感知，它對天氣的要求是很高的，我們的數(shù)據(jù)在晴天占50%，多云、雨天、霧霾天等不同的環(huán)境下都有采集數(shù)據(jù)，它的泛化能力還是很強的。

這是我們公司的核心能力，我們是具有完全可控自主知識產(chǎn)權(quán)的紅外探測器批產(chǎn)線。我們目前的潔凈廠房有2萬平米，核心設(shè)備400余套，有4臺8英寸的光刻機、2臺ASML的光刻機。我們?nèi)嬲莆樟俗x出集成電路設(shè)計與仿真、MEMS設(shè)計與加工、MEMS封裝測試及應(yīng)用的全套技術(shù)，年產(chǎn)能可達(dá)千萬只，低成本可廣泛普及應(yīng)用，同時我們的產(chǎn)品通過了德國的專業(yè)認(rèn)證，在質(zhì)量方面也是有保證的。

這是我們的紅外標(biāo)準(zhǔn)的建立。因為我們在紅外領(lǐng)域做得比較早，時間比較長，現(xiàn)在包括《乘用車夜視系統(tǒng)性能要求及試驗方法》《汽車用被動紅外探測系統(tǒng)》的標(biāo)準(zhǔn)都是我們建立的，《乘用車夜視系統(tǒng)性能要求及試驗方法》這個標(biāo)準(zhǔn)已經(jīng)通過了評審，在年底就會發(fā)布。右邊這個是我們?yōu)榱伺涮总噺S的制造能力做的自動化車載產(chǎn)品線，這也是國內(nèi)首個紅外自動化生產(chǎn)線。

這是我們的合作成功案例，第一個是東風(fēng)猛士，該車型全系標(biāo)配了紅外夜視攝像頭，今年7月底已經(jīng)做了成功的SOP。

第二個是廣汽埃安，昊鉑車型搭載了我們的紅外攝像頭，這個產(chǎn)品是今年8月底SOP的。

這是商用車的應(yīng)用案例，我們跟百度旗下干線物流品牌DeepWay合作，它用我們的紅外探測器去做L3甚至L4的自動駕駛。

這是紅外熱成像的應(yīng)用展望，其實紅外熱成像在國外很早就有應(yīng)用，國外的出貨量目前有上百萬，包括今年NCAP在美國也強制提出對夜間場景行人、車輛的識別要求，紅外的能力可以更好地匹配它們的要求。

紅外還可以做目標(biāo)檢測跟蹤、報警決策、語義分割、車道線檢測、雙光融合，以及跟SDK的適配，加一個控制核做應(yīng)用，可以做ARM+GPU的部署，ARM+NPU部署，以及單ARM方案，我們和華為、英偉達(dá)的平臺都做了適配，可以滿足不同應(yīng)用場景的需求。

這是紅外的應(yīng)用場景，通過紅外和可見光的融合，實現(xiàn)全天候場景對道路的識別，雙目融合有一個高程信息，對路面的坑道或者減速帶都會有檢測，通過檢測反饋之后對懸架進行自適應(yīng)調(diào)節(jié)，對行車進行更舒適的保障。

這是我們的智能座艙的應(yīng)用，因為紅外的測溫原理，它對車內(nèi)熱源的感知，可以做空調(diào)的智能調(diào)節(jié)，包括上車前提前調(diào)整車內(nèi)的環(huán)境，根據(jù)駕乘人員的表面溫度變化進行空調(diào)自適應(yīng)的調(diào)節(jié)，以及通過對車內(nèi)各個溫度點的實時監(jiān)控，對車內(nèi)的空調(diào)開關(guān)，對整車進行節(jié)能增效。現(xiàn)在新能源車要省一度電，它可以跑很長的公里數(shù)。此外可以實現(xiàn)人體檢測、兒童移動保護等功能。

這是紅外在SLAM（即時定位與地圖構(gòu)建）中的應(yīng)用，尤其是在地庫環(huán)境下，有些地庫沒有網(wǎng)絡(luò)，可以通過紅外建圖進行定位導(dǎo)航。

這是多模態(tài)傳感器的數(shù)據(jù)融合，通過一個深度紋理的特征融合，增強重建網(wǎng)絡(luò)，相當(dāng)于對產(chǎn)品進行一個更加精確的定位。

這是BEV空間特征建構(gòu)。BEV現(xiàn)在都是可見光的方案，我們希望通過紅外增加一維的感知信息，形成更加精確的判斷。

這是雙光融合，主要是彌補可見光在進出隧道或者是比較惡劣環(huán)境下，以及低照度環(huán)境下的功能失效問題，提高感知精度，增強檢測的能力。

這是雙目的立體融合，通過兩個紅外、兩個可見光形成稠密的點云深度圖，形成高精度的探測，它就會有一個距離信息，這時候?qū)EB的功能判定就會更有幫助。

這是我們最終的方案，做一個多傳感器融合，通過紅外和可見光、激光雷達(dá)、毫米波、超聲波做一個融合，有效地彌補其它傳感器在非常規(guī)天氣下的功能失效缺陷，有效提高行車的安全等級，這是我們和廣汽埃安正在合作的一個項目。

目前自動駕駛已經(jīng)推廣到L3的應(yīng)用，做到L3之后，對傳感器的要求會更高。紅外熱成像技術(shù)也是希望作為自動駕駛傳感器里面的一個不可或缺的部分，推進智能駕駛的技術(shù)革命。