HAOMO發(fā)布自動駕駛生成式大模型DriveGPT
【TechWeb汽車】4月12日消息，在HAOMO AI DAY上，HAOMO發(fā)布業(yè)內(nèi)首個自動駕駛生成式大模型DriveGPT，中文名“雪湖•海若”，毫末智行CEO顧維灝表示，DriveGPT將重塑汽車智能化技術路線。據(jù)介紹，DriveGPT雪湖•海若首發(fā)車型是新摩卡DHT-PHEV，即將量產(chǎn)上市。
毫末智行董事長張凱表示：“2023年智駕產(chǎn)品進入全線爆發(fā)期，大模型開啟在車端的落地應用，車主的使用頻率和滿意度成為產(chǎn)品競爭力的重要衡量標準。”
顧維灝介紹，DriveGPT通過引入駕駛數(shù)據(jù)建立RLHF（人類反饋強化學習）技術，對自動駕駛認知決策模型進行持續(xù)優(yōu)化，現(xiàn)階段主要用于解決自動駕駛的認知決策問題，終極目標是實現(xiàn)端到端自動駕駛。
目前，拿仔灶毫末DriveGPT雪湖•海若實現(xiàn)了模型架構與參數(shù)規(guī)模的升級，參數(shù)規(guī)模達到1200億，預訓練階段引入4000萬公里量產(chǎn)車駕駛數(shù)據(jù)，RLHF階段引入 5萬段人工精選的困難場景接管Clips。
DriveGPT雪湖•海若的底層模型采用GPT（Generative Pre-trained Transformer）生成式預訓練大模型，與ChatGPT使用自然語言進行輸入與輸出不同，DriveGPT輸入是感知融合后的文本序列，輸出是自動駕駛場景文本序列，即將自動駕駛場景Token化，形成“Drive Language”，最終完成自車的決策規(guī)控、障礙物預測以及決策邏輯鏈的輸出等任務。
顧維灝進一步闡釋，DriveGPT雪湖•海若具有三個能力：
1. DriveGPT雪湖•海若可以按概率生成很多個場景序列，每個場景都是一個全局的場景，每個場景序列都是未來有可能發(fā)生的一種實際情況；
2.在所有場景序列都產(chǎn)生的情況下，DriveGPT雪湖•海若能把場景中最受關注的自車行為軌跡量化出來，也就是生成場景的同時，會產(chǎn)生自車未來的軌跡信息；
3. 有了自車未來的軌跡信息之后，希望這條軌跡是可解釋的，而GPT模型最擅長的領域便是對話和推理，DriveGPT雪湖•海若也很好地繼承了這種特性，在生成場景序列、軌跡的同時，也會把整個決策邏輯鏈給輸出。
顧維灝介紹，毫末在2023年1月發(fā)布的中國自動駕駛行業(yè)最大的智算中心MANA OASIS（雪湖• 綠洲）此次從算力優(yōu)化等層面升級了三大能力，進一步支持DriveGPT雪湖•海若的算力。
首先，毫末與火山引擎全新搭建了“全套大模型訓練保障框架”，實現(xiàn)了異常任務分鐘級捕獲和恢復能力，可以保證千卡任務連續(xù)訓練數(shù)個月沒有任何非正常中斷,有效保證了大戚察模型訓練穩(wěn)定性；
其次，毫末研發(fā)出以真實數(shù)據(jù)回傳為核心的增量學習技術，并將其推廣到了大模型訓練，構建了一個大模型持續(xù)學習系統(tǒng)，自主研發(fā)任務級彈性伸縮調(diào)度器，分鐘級調(diào)度資源，集群計算資源利用率達到95%；
最后，MANA OASIS通過提升數(shù)據(jù)吞吐量來降本增效，滿足Transformer大模型訓練效率，通過引入火山引擎提供的Lego算子庫實現(xiàn)算子融合，端到端吞吐提升84%。
談到DriveGPT雪湖•海若的實現(xiàn)過程，顧維灝介紹稱，首先在預訓練階段通過引入量產(chǎn)駕駛數(shù)據(jù)，訓練初始模型，再通過引入駕駛接管Clips數(shù)據(jù)完成反饋模型（Reward Model）消扮的訓練，然后再通過強化學習的方式，使用反饋模型去不斷優(yōu)化迭代初始模型，形成對自動駕駛認知決策模型的持續(xù)優(yōu)化。
DriveGPT雪湖•海若的一個關鍵設計，就是場景的Token化表達，顧維灝把這種方式叫做Drive Language。
同時，DriveGPT雪湖•海若還會根據(jù)Drive Language輸入端的提示語以及毫末CSS自動駕駛場景庫的決策樣本去訓練模型，讓模型學習推理關系，從而將完整駕駛策略拆分為自動駕駛場景的動態(tài)識別過程，完成可理解、可解釋的推理邏輯鏈生成。
另外，顧維灝提到，DriveGPT雪湖•海若可以逐步應用到城市NOH、捷徑推薦、智能陪練以及脫困場景中。有了DriveGPT雪湖•海若的加持，車輛行駛會更安全；動作更人性、更絲滑，并有合理的邏輯告訴駕駛者，車輛為何選擇這樣的決策動作。對于普通用戶來說，車輛越來越像老司機，用戶對智能產(chǎn)品的信任感會更強，理解到車輛的行為都是可預期、可理解的。
當前，毫末在使用數(shù)據(jù)過程中，逐步建立起一套基于4D Clips駕駛場景識別方案，具備極高性價比。在行業(yè)上，給出正確的標注結果，一張圖片需要約5元；如果使用DriveGPT雪湖•海若的場景識別服務，一張圖片的價格將下降到0.5元。單幀圖片整體標注成本僅相當于行業(yè)的1/10。接下來，毫末會將圖像幀及4D Clips場景識別服務逐步向行業(yè)開放使用，這將大幅降低行業(yè)使用數(shù)據(jù)的成本，提高數(shù)據(jù)質(zhì)量，從而加速自動駕駛技術的快速發(fā)展。
目前，毫末DriveGPT雪湖•海若已正式對外開放，開啟對限量首批客戶的合作，北京交通大學計算機與信息技術學院、高通、火山引擎、華為云、京東科技、四維圖新、魏牌新能源、英特爾等已經(jīng)加入。毫末DriveGPT雪湖•海若大模型的成果將首發(fā)落地在搭載毫末HPilot3.0的新摩卡DHT-PHEV上。
顧維灝表示，毫末DriveGPT雪湖•海若將攜手生態(tài)伙伴率先探索四大應用能力，包括智能駕駛、駕駛場景識別、駕駛行為驗證、困難場景脫困。
【本文來自易車號作者TechWeb，版權歸作者所有,任何形式轉載請聯(lián)系作者。內(nèi)容僅代表作者觀點，與易車無關】
相關推薦
盤點首個非遺版春節(jié)里的非遺年味
2024年12月4日，盤點“春節(jié)——中國人慶祝傳統(tǒng)新年的非遺社會實踐”成功列入聯(lián)合國教科文組織人類非物質(zhì)文化遺產(chǎn)代表作名錄。乙巳春節(jié)是版春申遺后的首個春節(jié)，讓我們一起盤點首個“非遺版”春節(jié)里的節(jié)里非遺年味。此次巡演活動不僅展示了豐富的地方民
吃喝玩樂全免費！臨沂首個民俗非遺文化廟會，12月6日將盛大開幕！文中領福利~
2019臨沂民俗非遺文化廟會，將于12月6日盛大開幕，屆時會有民俗表演，抖音歌舞秀，漢服旗袍秀、舞龍舞獅以及民俗小吃空降現(xiàn)場，出示此文，門票免費送，10萬逛吃劵全城派送.文中有驚喜～2019臨沂首個民俗非遺文化廟會讓我們開啟臨沂民俗非遺文化
迎接首個“非遺春節(jié)”，年貨選它們準沒錯！
在年貨清單上，不妨添加一些“非遺”元素，既能增添節(jié)日氣氛，也能將地方傳統(tǒng)藝術帶回家。在即將來臨的春節(jié)，選擇一些個性化且富有傳統(tǒng)文化的年貨，為家人和朋友帶去一份獨特的祝福，成為這個非遺春節(jié)的“文化使者”吧！
剪紙史著傳世間非遺工藝進校園——廣東省首本剪紙史著和廣州市首個“工藝美術傳習基地”誕生
廣州市級剪紙非遺代表性傳承人、著名工藝美術大師韓艷把自己編著出版的廣東省首本剪紙歷史著作《廣州剪紙非遺史》現(xiàn)場捐贈給了海珠區(qū)全區(qū)的中小學校和文化單位。廣州剪紙是嶺南文化藝術瑰寶，是廣東傳統(tǒng)工藝美術廣東剪紙的主要代表。
廣東七市非遺項目走進廣州海珠湖：做龍舟模型包粽子 佳節(jié)體驗非遺魅力
制作趣味龍舟模型、慢嘆非遺休閑驛站、齊玩真人龍舟棋……來自廣州、珠海、惠州、汕尾、東莞、江門、肇慶七個市的非遺項目及傳承人，與景區(qū)游客共度端午。記者在現(xiàn)場看到，本次節(jié)慶“嘆”非遺活動體現(xiàn)了濃郁的嶺南端午特色。包粽子和賽龍舟是嶺南端午不可缺少
