陳勇：大模型時代，智能駕駛?cè)绾雾槃荻鵀?/h1> 汽車商業(yè)評論 2023-12-25 23:45:13 0
![]()
撰文 / 張 南
編輯 / 黃大路
2022年11月，ChatGPT的出現(xiàn)永久地改變了人類的生活。大模型隨之興起，各行各業(yè)都在思考如何利用大模型做產(chǎn)品，如何利用大模型做能效提升、產(chǎn)品體驗力提升。
智能駕駛在其中如何順勢而為？如何乘風破浪？
![]()
在吉利汽車研究院技術(shù)規(guī)劃中心主任陳勇看來，大模型領(lǐng)域的門檻會逐步變得更高。今天看到的百模也好，千模也好，三年之后會是怎么樣，現(xiàn)在還無法判斷，但其中能夠真正堅持下去的，就是找到高價值用戶場景的企業(yè)，因為用戶場景決定技術(shù)價值。
在智能駕駛領(lǐng)域，大模型能夠解決問題，創(chuàng)造價值。例如，用大模型合成數(shù)據(jù)，挖掘數(shù)據(jù)價值等等，擁有極大的想象力。
以下是陳勇的演講實錄。
很高興跟大家分享大模型時代吉利的應用探索。剛才兩位老總介紹了智能駕駛在安全、數(shù)據(jù)領(lǐng)域應該如何做/如何把智能駕駛體驗做得更好。接下來分享一下吉利在智能駕駛方面的思考。
對于智能駕駛來講，用戶也好，產(chǎn)品也好，市場比較關(guān)心的第一個應該是安全，因為在真正的智能駕駛當中，包括輔助駕駛當中，安全是每個人、每位用戶，包括每個主機廠/合作伙伴最關(guān)心的事情。
![]()
如何能夠保證安全？智能駕駛核心要解決很多長尾問題，智能駕駛發(fā)展得越快，發(fā)展得越好，真正最后那一點點長尾效應可能花的時間/代價/精力越大、越高，因為安全是0和1的事情。如何把這種corner case長尾效應做好，這是非常難的，也要花大量精力思考去做。
目前大部分智能駕駛感知還停留在標注階段，這意味著還是缺少一種認知能力，更多的是我們見過多少，我們標注了多少目標物、交通參與者，但是它是否真正具備認知能力？剛才提到，如果在高速公路上一塊石頭突然滑下來，它是否具備這樣的認知？能否通過泛化做這樣的事情，如果沒有標注過，這樣的事情能否做？
另外，安全和安全感是兩回事。智能駕駛?cè)绾巫龅桨踩?？有安全，就有安全感，這不是一個等號。如何給用戶營造一個安全感，安全是一個前提，安全感是一種體驗。
其次，如何把智能駕駛體驗做好，畢竟是一個智能化的產(chǎn)品和體驗，但是智能化的體驗不是有沒有，現(xiàn)在很多人在思考我有各種功能，不管是高速NOA、城市NOA，APA、RPA等等，功能有沒有，不等于體驗好不好。
如果一個功能體驗不好，不如沒有，自動駕駛體驗過程當中，高速NOA也好，RPA也好，一旦有一次讓你感覺到意外的事情，相信你長時間都不會用，甚至可能因為這樣的事情你就不會去用了。在復雜道路上，如何把接管率做得更低，其次智能駕駛的體驗大部分是不連貫的。
另外是關(guān)于成本，如何把智能駕駛的成本降下來?，F(xiàn)在我們?yōu)榱藵M足很多功能場景需求，堆砌了很多傳感器、硬件技術(shù)、冗余設計等等，讓智能駕駛成本相對來說比較高。如何讓它能夠回歸到商業(yè)本質(zhì)？如何把成本做得更低，或者如何把這個體驗比做得更好，這是智能駕駛應該關(guān)心的問題。
前幾年智能駕駛由粗獷的硬件驅(qū)動體驗逐步轉(zhuǎn)向數(shù)據(jù)算法驅(qū)動體驗轉(zhuǎn)變。原來有1V1R、1V3R、7V+毫米波雷達，現(xiàn)在有10V、11V+毫米波雷達+激光雷達，加一個不夠，加兩個，兩個不夠加三個，目前大部分都是這種情況，這種粗獷式的硬件堆砌來滿足各種功能體驗或者安全的要求。
![]()
如果讓這個事情回歸到商業(yè)本身或者用戶需求本質(zhì)，相信用戶要的不是傳感器，用戶要的是智能化體驗而已，如何通過數(shù)據(jù)和算法來驅(qū)動體驗提升，而不是靠硬件配置的堆砌。
做加法我覺得容易，但做減法很難。如何通過用戶體驗驅(qū)動價值創(chuàng)造，讓智能化設計回歸理性？這是做智能駕駛的每個人要去思考的事情。這里面應該用技術(shù)驅(qū)動創(chuàng)新，使體驗提升，提升性價比，包括各種集成，不管是行泊一體也好，艙駕一體也好等等“去硬件化”。另外通過各種技術(shù)，通過大模型也好、數(shù)據(jù)閉環(huán)也好，能夠“輕地圖、去硬件化”，這是值得思考的。
![]()
大模型能來做什么？
在大模型時代當中，傳統(tǒng)AI算法發(fā)展好幾十年了，大模型應該是這幾年，從2022年11月ChatGPT出來以后，大家的關(guān)注越來越高了。
各行各業(yè)都在思考如何利用大模型做產(chǎn)品，如何利用大模型做能效提升、產(chǎn)品體驗力提升，在大模型時代，在智能駕駛領(lǐng)域，我們?nèi)绾雾槃荻鵀椋咳绾纬孙L破浪？目前大模型應該是百模大戰(zhàn)，千模亂舞。
回顧五年之前的新能源市場，五年之前也有很多新勢力，如同現(xiàn)在的市場這么瘋狂，可能都差不多。那時候應該有400多家新能源企業(yè)，到現(xiàn)在還有多少家？可能那個百就沒有了，就剩后面的零頭了，那個零頭還能堅持多久？大模型也是一樣，大模型跟新能源相比，門檻可能比新能源還要高。
因為大模型有核心幾個要素：（1）需要大量GPU算力。隨著參數(shù)量的增加，GPU算力會越來越多。（2）需要大量數(shù)據(jù)，隨著參數(shù)量的增加，應用場景的擴大，需要大量的數(shù)據(jù)，包括高質(zhì)量的數(shù)據(jù)。（3）人工智能大模型領(lǐng)域需要大量的人才。
這個領(lǐng)域的門檻會逐步變得更高。今天看到的百模也好，千模也好，三年之后會是怎么樣？這里面誰能真正堅持下去，把場景找到，才能夠勝出。用戶場景決定技術(shù)價值。
![]()
如果一個技術(shù)沒有找到合適的用戶場景，這個技術(shù)我覺得不是沒有價值，可能有學術(shù)價值，但不一定有商業(yè)價值，我們應該找到合適的應用場景，才能夠決定這個技術(shù)的價值是多少。
如果當下的大模型用來做智能駕駛，我覺得它應該值智能駕駛的價錢，如果大模型用來蒸包子，一個包子五分鐘，十個包子幾分鐘，如果大模型用來做雞兔同籠這樣的事情，大模型也就值這個價。技術(shù)的價值誰決定的？由用戶場景決定的，而不是技術(shù)本身決定的。
大模型用來干什么？顯然在智能駕駛領(lǐng)域我們需要大模型，但并不是所有領(lǐng)域都需要大模型。任何一個產(chǎn)品都有它的市場價值和定位，今天有了高鐵飛機，不意味著我們不騎自行車了，并不是大模型來了，大模型可以應用所有場景，傳統(tǒng)東西不需要了，不見得。
智能駕駛領(lǐng)域大模型能做什么事情？大模型是來解決問題的，如果沒有問題就不需要新技術(shù)，或者它是來創(chuàng)造價值的，大模型能夠解決智能駕駛領(lǐng)域什么問題？或者能夠創(chuàng)造什么價值？
首先是數(shù)據(jù)。數(shù)據(jù)量的要求或者數(shù)據(jù)質(zhì)量的要求非常高，大模型能不能解決數(shù)據(jù)量不足的問題？深層次的大模型本身具有強大的泛化能力，數(shù)據(jù)采集能否不依靠實際道路采集？能否利用大模型做生成數(shù)據(jù)。
第二是數(shù)據(jù)價值創(chuàng)造。數(shù)據(jù)采集、數(shù)據(jù)標注成本非常高，從原來不管做L2、L2+也好，包括城市NOA，至少是幾百萬幀，甚至是上千萬幀，上億，現(xiàn)在是BEV+Transformer這樣的數(shù)據(jù)做這樣的事情。一幀數(shù)據(jù)的采集和標注的成本幾塊錢到幾十塊錢不等，大部分實際道路的采集很多應該還不能共用，不同車型都有差異，能否用大模型做這樣的事情？
第三我們有數(shù)據(jù)，但數(shù)據(jù)價值并沒有真正挖掘出來。我們可能采集了很多數(shù)據(jù)，但數(shù)據(jù)的價值挖掘取決于每個人的認知。
![]()
我的認知能力決定了數(shù)據(jù)價值挖掘能力，如果這張圖片給我，你只標了三個障礙，三個交通參與者，這就是你的認知，決定了這個圖片就值這個價值，大模型能否幫我們把數(shù)據(jù)，把每一幀的圖片語義深刻理解出來，挖掘更多的價值，能否做這個事情？我覺得可以做這樣的事情。
第四如果真正能夠做到端到端的大模型應用，那是非常好的事情，學術(shù)上現(xiàn)在大家都在研究這樣的事情，但是短期來講量產(chǎn)還是有一點距離的，因為它要解決很多問題。
智能駕駛?cè)绾巫?，把大模型輕量化做本地化問題，這個必須要解決，大模型生成式有很多不確定性的問題，如何把可控性做得更好，這些都是我們需要思考和做的事情。
![]()
大模型如何提升數(shù)據(jù)？
這些領(lǐng)域當中我們做了一些思考和探索，今天跟大家做分享。
如何把數(shù)據(jù)的數(shù)量和質(zhì)量做提升？因為在智能駕駛領(lǐng)域或者在大模型與人工智能領(lǐng)域，其中一個應該叫“數(shù)據(jù)價值戰(zhàn)”，如何利用數(shù)據(jù)驅(qū)動模型的迭代和體驗的提升，這是未來在人工智能領(lǐng)域、在智能駕駛領(lǐng)域都應該思考和做的事情。
![]()
核心關(guān)注兩件事情：數(shù)據(jù)量和數(shù)據(jù)質(zhì)量。如果數(shù)據(jù)質(zhì)量不好，數(shù)據(jù)量再大都沒有用。如果天天思考1+1等于幾的問題，我們不會進步的，數(shù)據(jù)量和數(shù)據(jù)質(zhì)量非常重要。
第二，數(shù)據(jù)量和數(shù)據(jù)質(zhì)量如何做提升？如何通過實際道路做采集？或者通過虛擬數(shù)據(jù)的生成和實際道路的融合，生成一些高質(zhì)量合成數(shù)據(jù)。數(shù)據(jù)是模型訓練的關(guān)鍵，直接影響了模型性能，數(shù)據(jù)量和數(shù)據(jù)質(zhì)量都應該抓。我們會給我們模型什么樣的數(shù)據(jù)和數(shù)據(jù)質(zhì)量，決定了這個模型能力上線的天花板。
在這個過程中，首先要思考的是如何利用大模型賦能做數(shù)據(jù)的合成技術(shù)?，F(xiàn)在大部分數(shù)據(jù)都應該是由實際道路采集的，實際道路采集的成本相對比較高，而且很多corner case采集不到，如果昆山下雪天，高速公路有交通事故的場景，中間還有大貨車，相信這樣的數(shù)據(jù)很難找，昆山下雪的場景都非常難找，更不要說下暴雪，如何把這樣的場景通過虛擬環(huán)境做生成？
我們構(gòu)建了一個虛擬環(huán)境，生成大量的數(shù)據(jù)做這個事情。另外我們通過真實數(shù)據(jù)訓練虛擬環(huán)境，如何讓虛擬環(huán)境的數(shù)據(jù)和真實數(shù)據(jù)變得更像，從而滿足智能駕駛仿真需求，我們在做這個事情。
對于模型訓練來講，它不關(guān)心這個數(shù)據(jù)是張三還是李四給的，只關(guān)心這個數(shù)據(jù)質(zhì)量是否好。這個過程當中如何利用大模型把合成數(shù)據(jù)的質(zhì)量做提升？
首先我們會做很多虛擬數(shù)據(jù)的生成，過程當中我們會對比虛擬數(shù)據(jù)的生成和真實數(shù)據(jù)的風格是否一致，如果虛擬數(shù)據(jù)生成質(zhì)量遠遠好于實際場景下的真實數(shù)據(jù)質(zhì)量。一方面我們的模型，在溫室下訓練這個模型，有可能到真實環(huán)境當中就不適應了，魯棒性能可能就不高，可靠性也不好。
我們需要訓練大量loss的去訓練我們目前真實的數(shù)據(jù)和虛擬環(huán)境數(shù)據(jù)之間的差異，同理讓虛擬環(huán)境生成的數(shù)據(jù)和真實環(huán)境的數(shù)據(jù)一致性能夠變得更好、變得更真實。其次如何讓虛擬數(shù)據(jù)生成的語義能夠更多地保持住，去做思考，我們通過大量數(shù)據(jù)訓練，訓練大模型數(shù)據(jù)的合成技術(shù)。
我們通過真實數(shù)據(jù)訓練虛擬數(shù)據(jù)，最后達成合成數(shù)據(jù)。合成數(shù)據(jù)結(jié)合真實數(shù)據(jù)場景的風格，但又保持了虛擬數(shù)據(jù)的語義，這樣大大提升了合成數(shù)據(jù)的質(zhì)量。
我們目前搭的虛擬環(huán)境，所有的道路建設、場景建設、天氣模擬、交通流的模擬都可以用AI建模做，這樣可以大大降低實際道路數(shù)據(jù)采集和標注成本，包括道路上的做舊也好，減速帶也好，錐桶也好，都可以模擬出這個事情。
其次用大模型可以解決數(shù)據(jù)價值挖掘的事情。前段時間一個整車廠看到廣告牌上有一個人觸發(fā)了AEB。這種數(shù)據(jù)雖然有，但是沒有做過訓練，導致這樣的事情發(fā)生，有大量的數(shù)據(jù)，但是數(shù)據(jù)沒有挖掘，沒有充分地把數(shù)據(jù)價值呈現(xiàn)出來。
大模型具備多模態(tài)的能力，能夠識別大量、海量數(shù)據(jù)語義的理解，能夠把數(shù)據(jù)做標簽化處理，可以快速檢索，從而形成模型訓練的數(shù)據(jù)集。
另外我們也做了大量的自動化標注和語義分割，結(jié)合虛擬數(shù)據(jù)和開源數(shù)據(jù)，包括道路數(shù)據(jù)、道路訓練大模型語義分割的數(shù)據(jù)。
![]()
為了驗證虛擬數(shù)據(jù)的能力和大模型的能力，我們也在ACDC的公開數(shù)據(jù)榜上針對特殊場景，給出各類驗證，整體來講我們的測試結(jié)果相對來說還是比較好的。
它驗證了一件事情，大模型具備這樣的語義分割和自動化標準的，另外虛擬數(shù)據(jù)質(zhì)量已經(jīng)達到了真實場景的需求，能夠滿足這樣的場景。所以在公開數(shù)據(jù)集上才能夠得到全球第一的成績。
我們做了大量的語義分割，其實做這樣的事情，大模型做比人做，相對來說還是有好處的，一致性比較高一些，整體的效率，包括精度也相對來說比較好。
最后給大家分享一下，在智能駕駛也好，人工智能大模型領(lǐng)域，目前大模型的確挺火的，但是當下不能高估大模型的能力，不能覺得大模型什么都行，什么都能干，但是更不能低估大模型未來的發(fā)展，因為它的潛力是無限的，謝謝大家！
撰文 / 張 南
編輯 / 黃大路
2022年11月，ChatGPT的出現(xiàn)永久地改變了人類的生活。大模型隨之興起，各行各業(yè)都在思考如何利用大模型做產(chǎn)品，如何利用大模型做能效提升、產(chǎn)品體驗力提升。
智能駕駛在其中如何順勢而為？如何乘風破浪？
在吉利汽車研究院技術(shù)規(guī)劃中心主任陳勇看來，大模型領(lǐng)域的門檻會逐步變得更高。今天看到的百模也好，千模也好，三年之后會是怎么樣，現(xiàn)在還無法判斷，但其中能夠真正堅持下去的，就是找到高價值用戶場景的企業(yè)，因為用戶場景決定技術(shù)價值。
在智能駕駛領(lǐng)域，大模型能夠解決問題，創(chuàng)造價值。例如，用大模型合成數(shù)據(jù)，挖掘數(shù)據(jù)價值等等，擁有極大的想象力。
以下是陳勇的演講實錄。
很高興跟大家分享大模型時代吉利的應用探索。剛才兩位老總介紹了智能駕駛在安全、數(shù)據(jù)領(lǐng)域應該如何做/如何把智能駕駛體驗做得更好。接下來分享一下吉利在智能駕駛方面的思考。
對于智能駕駛來講，用戶也好，產(chǎn)品也好，市場比較關(guān)心的第一個應該是安全，因為在真正的智能駕駛當中，包括輔助駕駛當中，安全是每個人、每位用戶，包括每個主機廠/合作伙伴最關(guān)心的事情。
如何能夠保證安全？智能駕駛核心要解決很多長尾問題，智能駕駛發(fā)展得越快，發(fā)展得越好，真正最后那一點點長尾效應可能花的時間/代價/精力越大、越高，因為安全是0和1的事情。如何把這種corner case長尾效應做好，這是非常難的，也要花大量精力思考去做。
目前大部分智能駕駛感知還停留在標注階段，這意味著還是缺少一種認知能力，更多的是我們見過多少，我們標注了多少目標物、交通參與者，但是它是否真正具備認知能力？剛才提到，如果在高速公路上一塊石頭突然滑下來，它是否具備這樣的認知？能否通過泛化做這樣的事情，如果沒有標注過，這樣的事情能否做？
另外，安全和安全感是兩回事。智能駕駛?cè)绾巫龅桨踩?？有安全，就有安全感，這不是一個等號。如何給用戶營造一個安全感，安全是一個前提，安全感是一種體驗。
其次，如何把智能駕駛體驗做好，畢竟是一個智能化的產(chǎn)品和體驗，但是智能化的體驗不是有沒有，現(xiàn)在很多人在思考我有各種功能，不管是高速NOA、城市NOA，APA、RPA等等，功能有沒有，不等于體驗好不好。
如果一個功能體驗不好，不如沒有，自動駕駛體驗過程當中，高速NOA也好，RPA也好，一旦有一次讓你感覺到意外的事情，相信你長時間都不會用，甚至可能因為這樣的事情你就不會去用了。在復雜道路上，如何把接管率做得更低，其次智能駕駛的體驗大部分是不連貫的。
另外是關(guān)于成本，如何把智能駕駛的成本降下來?，F(xiàn)在我們?yōu)榱藵M足很多功能場景需求，堆砌了很多傳感器、硬件技術(shù)、冗余設計等等，讓智能駕駛成本相對來說比較高。如何讓它能夠回歸到商業(yè)本質(zhì)？如何把成本做得更低，或者如何把這個體驗比做得更好，這是智能駕駛應該關(guān)心的問題。
前幾年智能駕駛由粗獷的硬件驅(qū)動體驗逐步轉(zhuǎn)向數(shù)據(jù)算法驅(qū)動體驗轉(zhuǎn)變。原來有1V1R、1V3R、7V+毫米波雷達，現(xiàn)在有10V、11V+毫米波雷達+激光雷達，加一個不夠，加兩個，兩個不夠加三個，目前大部分都是這種情況，這種粗獷式的硬件堆砌來滿足各種功能體驗或者安全的要求。
如果讓這個事情回歸到商業(yè)本身或者用戶需求本質(zhì)，相信用戶要的不是傳感器，用戶要的是智能化體驗而已，如何通過數(shù)據(jù)和算法來驅(qū)動體驗提升，而不是靠硬件配置的堆砌。
做加法我覺得容易，但做減法很難。如何通過用戶體驗驅(qū)動價值創(chuàng)造，讓智能化設計回歸理性？這是做智能駕駛的每個人要去思考的事情。這里面應該用技術(shù)驅(qū)動創(chuàng)新，使體驗提升，提升性價比，包括各種集成，不管是行泊一體也好，艙駕一體也好等等“去硬件化”。另外通過各種技術(shù)，通過大模型也好、數(shù)據(jù)閉環(huán)也好，能夠“輕地圖、去硬件化”，這是值得思考的。
大模型能來做什么？
在大模型時代當中，傳統(tǒng)AI算法發(fā)展好幾十年了，大模型應該是這幾年，從2022年11月ChatGPT出來以后，大家的關(guān)注越來越高了。
各行各業(yè)都在思考如何利用大模型做產(chǎn)品，如何利用大模型做能效提升、產(chǎn)品體驗力提升，在大模型時代，在智能駕駛領(lǐng)域，我們?nèi)绾雾槃荻鵀椋咳绾纬孙L破浪？目前大模型應該是百模大戰(zhàn)，千模亂舞。
回顧五年之前的新能源市場，五年之前也有很多新勢力，如同現(xiàn)在的市場這么瘋狂，可能都差不多。那時候應該有400多家新能源企業(yè)，到現(xiàn)在還有多少家？可能那個百就沒有了，就剩后面的零頭了，那個零頭還能堅持多久？大模型也是一樣，大模型跟新能源相比，門檻可能比新能源還要高。
因為大模型有核心幾個要素：（1）需要大量GPU算力。隨著參數(shù)量的增加，GPU算力會越來越多。（2）需要大量數(shù)據(jù)，隨著參數(shù)量的增加，應用場景的擴大，需要大量的數(shù)據(jù)，包括高質(zhì)量的數(shù)據(jù)。（3）人工智能大模型領(lǐng)域需要大量的人才。
這個領(lǐng)域的門檻會逐步變得更高。今天看到的百模也好，千模也好，三年之后會是怎么樣？這里面誰能真正堅持下去，把場景找到，才能夠勝出。用戶場景決定技術(shù)價值。
如果一個技術(shù)沒有找到合適的用戶場景，這個技術(shù)我覺得不是沒有價值，可能有學術(shù)價值，但不一定有商業(yè)價值，我們應該找到合適的應用場景，才能夠決定這個技術(shù)的價值是多少。
如果當下的大模型用來做智能駕駛，我覺得它應該值智能駕駛的價錢，如果大模型用來蒸包子，一個包子五分鐘，十個包子幾分鐘，如果大模型用來做雞兔同籠這樣的事情，大模型也就值這個價。技術(shù)的價值誰決定的？由用戶場景決定的，而不是技術(shù)本身決定的。
大模型用來干什么？顯然在智能駕駛領(lǐng)域我們需要大模型，但并不是所有領(lǐng)域都需要大模型。任何一個產(chǎn)品都有它的市場價值和定位，今天有了高鐵飛機，不意味著我們不騎自行車了，并不是大模型來了，大模型可以應用所有場景，傳統(tǒng)東西不需要了，不見得。
智能駕駛領(lǐng)域大模型能做什么事情？大模型是來解決問題的，如果沒有問題就不需要新技術(shù)，或者它是來創(chuàng)造價值的，大模型能夠解決智能駕駛領(lǐng)域什么問題？或者能夠創(chuàng)造什么價值？
首先是數(shù)據(jù)。數(shù)據(jù)量的要求或者數(shù)據(jù)質(zhì)量的要求非常高，大模型能不能解決數(shù)據(jù)量不足的問題？深層次的大模型本身具有強大的泛化能力，數(shù)據(jù)采集能否不依靠實際道路采集？能否利用大模型做生成數(shù)據(jù)。
第二是數(shù)據(jù)價值創(chuàng)造。數(shù)據(jù)采集、數(shù)據(jù)標注成本非常高，從原來不管做L2、L2+也好，包括城市NOA，至少是幾百萬幀，甚至是上千萬幀，上億，現(xiàn)在是BEV+Transformer這樣的數(shù)據(jù)做這樣的事情。一幀數(shù)據(jù)的采集和標注的成本幾塊錢到幾十塊錢不等，大部分實際道路的采集很多應該還不能共用，不同車型都有差異，能否用大模型做這樣的事情？
第三我們有數(shù)據(jù)，但數(shù)據(jù)價值并沒有真正挖掘出來。我們可能采集了很多數(shù)據(jù)，但數(shù)據(jù)的價值挖掘取決于每個人的認知。
我的認知能力決定了數(shù)據(jù)價值挖掘能力，如果這張圖片給我，你只標了三個障礙，三個交通參與者，這就是你的認知，決定了這個圖片就值這個價值，大模型能否幫我們把數(shù)據(jù)，把每一幀的圖片語義深刻理解出來，挖掘更多的價值，能否做這個事情？我覺得可以做這樣的事情。
第四如果真正能夠做到端到端的大模型應用，那是非常好的事情，學術(shù)上現(xiàn)在大家都在研究這樣的事情，但是短期來講量產(chǎn)還是有一點距離的，因為它要解決很多問題。
智能駕駛?cè)绾巫?，把大模型輕量化做本地化問題，這個必須要解決，大模型生成式有很多不確定性的問題，如何把可控性做得更好，這些都是我們需要思考和做的事情。
大模型如何提升數(shù)據(jù)？
這些領(lǐng)域當中我們做了一些思考和探索，今天跟大家做分享。
如何把數(shù)據(jù)的數(shù)量和質(zhì)量做提升？因為在智能駕駛領(lǐng)域或者在大模型與人工智能領(lǐng)域，其中一個應該叫“數(shù)據(jù)價值戰(zhàn)”，如何利用數(shù)據(jù)驅(qū)動模型的迭代和體驗的提升，這是未來在人工智能領(lǐng)域、在智能駕駛領(lǐng)域都應該思考和做的事情。
核心關(guān)注兩件事情：數(shù)據(jù)量和數(shù)據(jù)質(zhì)量。如果數(shù)據(jù)質(zhì)量不好，數(shù)據(jù)量再大都沒有用。如果天天思考1+1等于幾的問題，我們不會進步的，數(shù)據(jù)量和數(shù)據(jù)質(zhì)量非常重要。
第二，數(shù)據(jù)量和數(shù)據(jù)質(zhì)量如何做提升？如何通過實際道路做采集？或者通過虛擬數(shù)據(jù)的生成和實際道路的融合，生成一些高質(zhì)量合成數(shù)據(jù)。數(shù)據(jù)是模型訓練的關(guān)鍵，直接影響了模型性能，數(shù)據(jù)量和數(shù)據(jù)質(zhì)量都應該抓。我們會給我們模型什么樣的數(shù)據(jù)和數(shù)據(jù)質(zhì)量，決定了這個模型能力上線的天花板。
在這個過程中，首先要思考的是如何利用大模型賦能做數(shù)據(jù)的合成技術(shù)?，F(xiàn)在大部分數(shù)據(jù)都應該是由實際道路采集的，實際道路采集的成本相對比較高，而且很多corner case采集不到，如果昆山下雪天，高速公路有交通事故的場景，中間還有大貨車，相信這樣的數(shù)據(jù)很難找，昆山下雪的場景都非常難找，更不要說下暴雪，如何把這樣的場景通過虛擬環(huán)境做生成？
我們構(gòu)建了一個虛擬環(huán)境，生成大量的數(shù)據(jù)做這個事情。另外我們通過真實數(shù)據(jù)訓練虛擬環(huán)境，如何讓虛擬環(huán)境的數(shù)據(jù)和真實數(shù)據(jù)變得更像，從而滿足智能駕駛仿真需求，我們在做這個事情。
對于模型訓練來講，它不關(guān)心這個數(shù)據(jù)是張三還是李四給的，只關(guān)心這個數(shù)據(jù)質(zhì)量是否好。這個過程當中如何利用大模型把合成數(shù)據(jù)的質(zhì)量做提升？
首先我們會做很多虛擬數(shù)據(jù)的生成，過程當中我們會對比虛擬數(shù)據(jù)的生成和真實數(shù)據(jù)的風格是否一致，如果虛擬數(shù)據(jù)生成質(zhì)量遠遠好于實際場景下的真實數(shù)據(jù)質(zhì)量。一方面我們的模型，在溫室下訓練這個模型，有可能到真實環(huán)境當中就不適應了，魯棒性能可能就不高，可靠性也不好。
我們需要訓練大量loss的去訓練我們目前真實的數(shù)據(jù)和虛擬環(huán)境數(shù)據(jù)之間的差異，同理讓虛擬環(huán)境生成的數(shù)據(jù)和真實環(huán)境的數(shù)據(jù)一致性能夠變得更好、變得更真實。其次如何讓虛擬數(shù)據(jù)生成的語義能夠更多地保持住，去做思考，我們通過大量數(shù)據(jù)訓練，訓練大模型數(shù)據(jù)的合成技術(shù)。
我們通過真實數(shù)據(jù)訓練虛擬數(shù)據(jù)，最后達成合成數(shù)據(jù)。合成數(shù)據(jù)結(jié)合真實數(shù)據(jù)場景的風格，但又保持了虛擬數(shù)據(jù)的語義，這樣大大提升了合成數(shù)據(jù)的質(zhì)量。
我們目前搭的虛擬環(huán)境，所有的道路建設、場景建設、天氣模擬、交通流的模擬都可以用AI建模做，這樣可以大大降低實際道路數(shù)據(jù)采集和標注成本，包括道路上的做舊也好，減速帶也好，錐桶也好，都可以模擬出這個事情。
其次用大模型可以解決數(shù)據(jù)價值挖掘的事情。前段時間一個整車廠看到廣告牌上有一個人觸發(fā)了AEB。這種數(shù)據(jù)雖然有，但是沒有做過訓練，導致這樣的事情發(fā)生，有大量的數(shù)據(jù)，但是數(shù)據(jù)沒有挖掘，沒有充分地把數(shù)據(jù)價值呈現(xiàn)出來。
大模型具備多模態(tài)的能力，能夠識別大量、海量數(shù)據(jù)語義的理解，能夠把數(shù)據(jù)做標簽化處理，可以快速檢索，從而形成模型訓練的數(shù)據(jù)集。
另外我們也做了大量的自動化標注和語義分割，結(jié)合虛擬數(shù)據(jù)和開源數(shù)據(jù)，包括道路數(shù)據(jù)、道路訓練大模型語義分割的數(shù)據(jù)。
為了驗證虛擬數(shù)據(jù)的能力和大模型的能力，我們也在ACDC的公開數(shù)據(jù)榜上針對特殊場景，給出各類驗證，整體來講我們的測試結(jié)果相對來說還是比較好的。
它驗證了一件事情，大模型具備這樣的語義分割和自動化標準的，另外虛擬數(shù)據(jù)質(zhì)量已經(jīng)達到了真實場景的需求，能夠滿足這樣的場景。所以在公開數(shù)據(jù)集上才能夠得到全球第一的成績。
我們做了大量的語義分割，其實做這樣的事情，大模型做比人做，相對來說還是有好處的，一致性比較高一些，整體的效率，包括精度也相對來說比較好。
最后給大家分享一下，在智能駕駛也好，人工智能大模型領(lǐng)域，目前大模型的確挺火的，但是當下不能高估大模型的能力，不能覺得大模型什么都行，什么都能干，但是更不能低估大模型未來的發(fā)展，因為它的潛力是無限的，謝謝大家！