附身人皮王者荣耀女英雄争锋

莫吉娜童豪良:當毫米波雷達遇上人工智能

佐思產研
2019/4/22 11:57:11


中國乘用車毫米波雷達市場從2017年開始明顯加速,全年乘用車毫米波雷達出貨量接近232萬顆,同比增長104.6%。2018年乘用車毫米波雷達實際出貨量達358萬顆,同比增長54%。

 

上海莫吉娜智能信息科技有限公司目前專攻77Ghz毫米波雷達在智能駕駛領域的實際落地方案。

 

2019第四屆ADAS與自動駕駛論壇于3月21-22日在上海召開,論壇由CCIA智能網聯專委會與佐思產研主辦,地平線、縱目科技、中科慧眼、中電昆辰、富蘭光學、創景科技等單位支持。

 

莫吉娜科技副總裁童豪良在論壇上發表了題為“當毫米波雷達遇上人工智能--面向中國復雜駕駛環境的自主創新之路”的演講。以下是演講全文。



自動駕駛一般經歷L1到L5的過程,目前大多還是L3級別。如果往后看,業內對于L5仍持保守觀點。

 

Waymo CEO John Krafcik說:“未來幾十年,自動駕駛還無法做到無處不在,無人駕駛汽車一直存在限制。” Waymo是自動駕駛領域的領頭羊,目前市值高達1700億美元,比Telsa和通用加起來還要大,幾乎一家就相當于中國主機廠上市公司市值的總和。這不禁讓人對于無人駕駛的全面普及持悲觀態度。

 

谷歌首席未來科學家Ray Kurzweil說 “在2029年左右,我們將會達到一個臨界點。屆時醫療技術將使人均壽命每過一年就能延長一歲。”換句話說再過10年,人就可以長生不老了,所以留給我們的時間還非常多。

 

自動駕駛領域不管是做到哪個級別,更重要的是滿足不同工況,適應各種各樣的場景。因為在消費者眼里,一個真正的自動駕駛系統,是不管路況有多復雜的。就像打游戲一樣,他不僅能打通簡單模式,行駛在車少、人少、大家嚴格遵守規則的硅谷山景城,也能挑戰地獄模式,行駛在人車高度混雜,規則難以判斷的道路上。

 


一個出色的駕駛系統,也不會怕道路有多糟糕,能像一個人類駕駛員一樣,通過積水、泥濘的路面、連續彎道、穿越低矮橋洞、桁架橋等特殊的路面。



他會像一個人類司機,見怪不怪。不管是碰到道路塌方,還是逆行車輛,在路上看到牛、看到羊、看到橫在路面上的大石頭,看到運載汽車的大板車,他都能靈活應對。對于機器眼中所謂的Corner Case,實際上對于一個稍有經驗的司機來說,應該都是小菜一碟。



另外,天氣對傳感器也是很重要的挑戰,現在很多碰到雨天、霧天,性能都大打折扣。這些復雜的路況、特殊的道路、奇怪的場景,惡劣的天氣都是很大的挑戰。



因此需要一個全天候、全場景、高度可靠的解決方案,能完美的應對以上挑戰。要達到這樣的目標,需要在感知、決策、控制等各個環節的企業齊心協力,不斷推動技術的進步。莫吉娜作為一個毫米波雷達企業,也在這方面做了一些嘗試。我們在不斷提高傳感器性能的同時,著重于應用人工智能技術,在自動化路測、目標分類和預測、傳感器混合式融合方面進行自主創新。



首先講關于自動化路測的問題。要驗證系統的可靠性,核心就是進行大量的路測。Waymo的路測里程約2000萬英里,模擬器里程50億英里,奠定了行業絕對領先的地位。這背后帶來的是豐富的經驗積累,進而轉化成了更好的平均每多少公里才需要干預一次的成績。中國有句俗語:“我走過的橋比你走過的路還要多”,講的就是這個道理。


對于自動駕駛來說,海量測試是提升表現的關鍵手段。下圖左邊是美國加州公共管理局發布的2018年登記的自動駕駛測試方的無人駕駛里程,其中Waymo 1271.5英里,跑得最多;GM第二名,其他基本排不上號了。



從測試的角度來看,視覺方案的訓練、測試環境來看是相對成熟的。攝像頭的數據直觀、便于理解和標注。而且視覺的路測數據從一定程度上可以復用,在調整硬件、調整算法之后,只要對視頻略作調整,仍可繼續沿用。而且,在市場上也可以買到一些標注好的,甚至是覆蓋了各種特殊場景的訓練數據。也有現成的可自動生成各種場景的模擬器,這就為攝像頭的測試帶來了極大的便利。



毫米波雷達的數據則完全不同。看以下兩張圖,左邊是ADC數據采樣的實部,右邊是其中的一部分數據的細節。這些數據遠沒有視覺的直觀,也無法直接標注。在市場上也沒有辦法買到現成的、別人做好的雷達原始采樣數據。就算買得到也沒用:雷達,每次硬件調整后ADC采樣的數據都是完全不同,需要重新采集、訓練。



實際上,對于毫米波雷達來說, 每次硬件變更、算法調整都要重新進行路測,產品定型后,在和主機廠安裝匹配的過程中,由于前方覆蓋的保險杠形狀、材質不同,安裝位置不同,對雷達數據會有影響,也需要重新進行大量的路測。通常每匹配一次,就要單獨進行數千小時,十萬公里的路測,周期長,成本高昂。盡管如此,能覆蓋的場景還是非常有限的,很難每次變更,都把所有的特殊場景都跑上很多遍。



由于測試方案設計的原因,有些場景很容易疏漏,比如地面施工時覆蓋的大鐵板。由于雷達工作原理的原因,這樣的大鐵板有時候就會被誤報成靜止的車輛,導致不必要的制動或者報警。



就此,莫吉娜開發了一套可以快速積累海量里程測試數據的體系。通過多傳感器融合的數據采集,記錄系統,和運營車隊合作,安裝到他們的車上。每輛車每天可以采集回收300公里里程的數據,一個月近1萬公里,100輛車一年就是上千萬公里。這個級別的里程累計,對于全面覆蓋各種場景、驗證硬件設計、算法和整體可靠性的幫助是巨大的。



數據量的指數級增加,同時也會帶來一個挑戰:這么多的數據怎么看。顯然,成百上千萬公里的路測數據完全靠人工來復核,成本是很難負擔的。而且這些數據也并非全都價值相同。對于技術人來說,重點需要關注的是特殊場景的數據、有問題的數據。


基于此引入了機器學習的方法,從前期小批量的人工標注、篩選過的數據中找出規律,沿用到海量數據中,自動篩選出需要人工關注的數據,并予以半自動標注,再輔以人工審核。這樣可以節約90%以上的時間。



這里機器學習的規律是一系列特征(feature)的組合。舉例來說:某個傳感器檢測到,而另一個傳感器沒有檢測到或者不能準確分類的;加速度傳感器捕捉到司機有急剎車、急打方向現象,而攝像頭、雷達并沒有反映有威脅的目標。


另外還會用基本的方法,用雷達看是人是車還是非檢測目標,這也是通過大量數據學習出來的。


以下兩張圖為莫吉娜實測的結果。一是在上海的外白渡橋,一個金屬結構的桁架橋。對于桁架橋,檢測的難點在于即要能夠準確檢測到兩側對于行駛會有影響的結構,又要篩除掉上方的結構,尤其不能將正前方上方的部分誤報為前方的靜止障礙物。從演示視頻中看到目前莫吉娜的算法比較好的做到了這兩點。



二是檢測路中間的管柱隔離路障。這些管柱對駕駛會產生影響,需要避讓。而檢測他們的難點在于,這些管柱的反射面比較小,往往還不是金屬材質,反射的能量更小。使用傳統的篩除方式,如果我們把檢測的閾值調低些,管柱的漏報就會很少,但同時會誤報很多不影響駕駛的目標。如果閾值調高了,誤報可以得到抑制,但像管柱這類障礙物就容易被漏報。在引入機器學習的方法后,我們可以結合目標物的多種特征,進行更好的篩選。



要做好自動駕駛,少不了對目標的分類和預測。視覺在做物體分類上是強項,包括激光雷達,做分類也比較好。毫米波雷達分辨性能不高,識別能力不強,為什么不直接交給其他傳感器處理呢?這主要是兩方面的考量:全天候,和系統冗余。其他主流傳感器,在雨、霧、雪等惡劣天氣時,識別性能極弱,而且攝像頭在遇到光線劇烈變化時,也會有短時的盲區。這時候就需要用到毫米波雷達。另外,盡管毫米波雷達的分類能力不夠強大,但如果能盡可能準確地輸出一些分類信息的話,也是對其他傳感器的一個重要補充,可以起到很好的冗余作用。


不過毫米波雷達的傳統目標分類技術有很多不足,難以對目標進行準確分類。最常見的傳統做法是使用反射能量來分類,但車輛、自行車、行人的特征會有很多重疊,誤判率很高。另一種方法是推測物體的長度和寬度。但正前方的物體,長度不好判斷,這樣就不容易區分大車和小車,另外由于毫米波雷達的分辨率不高,對于一些異型物體也不容易進行準確分類。


此外,有一個簡單的粗暴的分類方式是根據目標的速度,大于一定速度的都判作車輛。但這個方式同樣分類不夠準確、精細,尤其是對于低速、靜止的目標無法準確分類。在實踐中,大家通常會結合上述幾個特征來進行綜合判斷,但由于上述每個分類方法的基準水平不高,所以三個臭皮匠還是湊不成一個諸葛亮。要更準確的分類,就要尋找新的雷達數據特征,利用人工智能算法實現目標識別。



莫吉娜目前使用SVM,提前若干個信號、雷達波形特征來進行分類。大致會使用到8-10個特征,構成一個n維的超平面,以進行更精準的篩選。



分類只是優化的第一步。要讓自動駕駛更安全可靠,很重要的一步是對周邊物體的軌跡進行預測。


我們知道,有經驗的司機在開車的時候,其實并不是時時刻刻緊盯著路面看的。新手司機可能會兩眼緊盯著路面,雙手死死抓住方向盤。但老司機開車的時候回頭說幾句話,拿個東西都不在話下。



這之間的差異,關鍵就在于老司機的腦子里建立了一套強大的預測系統。他對于其他車輛、行人的軌跡會有很好的預判,可以提前做出安排,譬如接近路口的時候根據行人的姿勢,甚至一個眼神就知道自己是該加速通過,還是放慢速度讓行人先走。


目前一些比較先進的自動駕駛系統都會引入對目標的預測。大部分在域控制器上或一臺專門的GPU上實現。莫吉娜的雷達因為使用了比較強大的計算芯片,所以在傳感器上也可以實現一些初級的預測功能。


這里簡單介紹下莫吉娜的預測系統:首先會利用毫米波雷達、攝像頭和高精地圖來獲取周邊車輛和道路信息。


在這個過程中,攝像頭、雷達、高精地圖各司其職、各盡所長。攝像頭的主要任務是做車道線識別、交通標志識別、目標檢測和分類。雷達平時在目標檢測/分類上起輔助作用,同時提供精準的目標距離、速度信息。在天氣不好或光照不佳時則轉為主力傳感器。另外,使用高精地圖來實現對車輛的相對定位,進而獲取道路的背景信息,譬如當前有幾個車道,各自的交通規制是怎樣的,前方是否有出入口等等。甚至可以加入很多歷史信息,譬如這條路以前的擁堵情況如何?是否經常發生事故等。



有了這些數據之后,我們就可以使用一種人工智能的算法,LTSM,也就是長短時記憶網絡來進行處理。它的基本原理和人差不多,可以想象一下人會判斷,比如前面有一個空檔,所以右邊這輛車就有可能并到前面來,最后會輸出一個類似像這樣的每個車接下來一段時間的行駛軌跡的概率分布。



Reference:


Multi-Modal Trajectory Prediction of Surrounding Vehicleswith Maneuver based LSTMs


Nachiket Deo, Mohan Manubhai Trivedi, Published in IEEE IntelligentVehicles Symposium (IV) 2018


預測的結果,可以直觀的用熱力圖的方式展示,可以推測未來一段時間內周邊車輛直行、變道、加速、減速的概率,從而對自己的車輛進行更好的控制。讓它的表現更像一個人類老司機,而不是一驚一乍的新手司機。這個和傳統的只是根據車輛之前的行駛速度是不一樣的,因為原來的模型大部分只是統計這一輛車速度快不快,會不會撞到的事情,很少考慮到速度變化的可能性以及它會不會變道干擾行駛。引用了預測模型之后,它就可以提供很多新的數據。同樣,還可以做行人運動軌跡的預測,這個在做低速,尤其是過馬路的時候,有很大的幫助。沒有經驗的司機,過馬路很猶豫,有經驗的司機會根據預測,會更大膽一些。



在實踐中行人運動軌跡進行預測,這里同樣會結合攝像頭和毫米波雷達的特性。在行人檢測上,攝像頭在斑馬線識別、交通信號識別上具有不可替代的優勢,另外在姿態分析上也有比較成熟的模型。毫米波雷達的強項則在測距、測速上,也可以更好的分割若干個不同的目標,這在一群人過馬路時尤其重要。另外,毫米波的全天候能力在夜間、雨天也可以發揮非常重要的作用。



前面談到的自動化測試、目標分類和預測,都離不開傳感器的融合。不同的融合方式背后是不同的計算結構。目前在量產車上,用的最多的是分布式計算結構。這種結構下,攝像頭、雷達各自對原始數據進行獨立計算,再把處理后的結果匯總到域控制器上,或者直接給出控制建議。這樣做,好處是傳輸的信號小,成本低。但這樣的融合方式過于簡單粗暴。當不同的傳感器給出的結果不同時,往往不知道該聽誰的好。



而在高級別的無人駕駛實驗車上,大部分使用的是中心式計算結構,傳感器直接把原始數據傳到中央處理器。這樣的方案,雖然準確、強大,但對車身網絡的要求極高,對計算性能的要求也很高。這個成本是量產車暫時無法接受的。



第三種做法就是混合式計算結構,計算主要還是在各個傳感器上獨立完成,但在計算過程中會引入其他傳感器的部分原始數據和計算結果作為參考。這樣就可以在成本可控的情況下大幅度提高安全性。



目前莫吉娜也在做融合方面的優化。比如毫米波雷達會一段時間內把注意到的信息提供給視覺,然后用視覺去看,修改注意力掃描的包。反過來也是一樣的,把視覺識別到的及沒有識別到的信息,不是在預控器上處理,而是返回到毫米波雷達上。毫米波雷達對于這部分采取不同的處理方式,取得更加精準的數據。所以希望通過這樣精準化路測,積累里程,為剛才講到的特殊場景做支持。


最后簡單介紹一下莫吉娜公司:2015年在美國硅谷創建,2017年4月成立上海總部,2018年5月設立南京研發分部。當前主要產品有77G中距前向雷達,77G短距側向雷達等。






「相關閱讀」

長城汽車自動駕駛開發的安全DNA

向超級中央計算機邁進 --智能汽車電子構架變革迎接數字化重塑

2019年自動駕駛產業鏈企業全景圖(共300多家)


佐思研究年報

自動駕駛計算平臺與系統架構研究 | 主機廠和Tier1自動駕駛策略研究 | 汽車雷達產業研究 | 汽車視覺產業研究 | 低速自動駕駛產業研究 | 商用車自動駕駛產業研究 | L4、高精地圖和V2X研究 | 新興造車企業布局及智能網聯功能對比分析 | 汽車MLCC研究報告 | 汽車分時租賃研究報告 | 5G自動駕駛專題研究 | 汽車仿真研究 | 高精度地圖產業研究 | 域控制器研究 | 自動泊車與自主泊車研究 | 激光雷達研究 | 處理器和計算機芯片研究


佐思研究月報及周報

車聯網月報 | ADAS/智能汽車月報 | 智能網聯汽車測試月報 | 汽車座艙電子月報 | 汽車視覺和汽車雷達月報 | 電池、電機、電控月報 | 新能源汽車市場與基礎設施月報 | 智能網聯與新能源汽車周報

聯系人:  符兆國 18600021096   |   韓 躍 15810133447


「無人駕駛、座艙電子及V2X相關培訓

培訓目錄:| 無人駕駛入門培訓 | 無人駕駛測試培訓 | V2X測試培訓 | 自主泊車系統開發及實操 | 汽車座艙軟件工程關鍵技術培訓 | 汽車座艙UIUE

聯系人:張志超  18612704928(同微信)


「近期活動

2019深圳國際未來汽車及技術展暨2019汽車新四化與汽車電子論壇

聯系人:張女士 13716037793(同微信)


溫馨提示
本內容僅供佐思產研會員瀏覽
1.還沒有注冊?請 
2.如果已注冊,請 
3.點擊查看會員服務簡介
會員登錄
賬  號
密  碼
驗證碼驗證碼
溫馨提示
您的付費會員已過期,請參照以下方式進行付費。
400-009-0050
zhangyafei

評論成功

版權所有(c) 佐思信息 京ICP備05069564號-4
北京:010-82863481上海:021-64871266
附身人皮王者荣耀女英雄争锋 明星三缺一麻将单机 pk10赛车冠军永无规律 山西快乐10分开奖号码 3d彩票吧310 河北福彩快3玩法介绍 11选五辽宁 七乐彩走势图表近50期 竞彩篮球胜分差主1-5 山东时时彩网11选5 cpcp彩票游戏 韩国快乐8推荐 哪些游戏工作室赚钱方法 体彩河南快赢481走势图 甘肃快3开奖结果 云南快乐10分任选3多少钱 黑红梅方保单机的猫腻