在此前的 Tesla AI Day 盛會上，特斯拉除了發布 Optimus “擎天柱”機器人，同時公布了自動駕駛 Full Self-Driving Computer (FSD) 的技術細節。其中包含純電動汽車 (BEV) 的感知神經網絡 Occupancy Network (柵格網絡)、Interactive Planning (交互規劃)、Lanes Network (車道網格)、Auto Labeling (自動標注) 等方面的視覺自動駕駛技術。今天讓我們來硬核拆解FSD創新的底層技術。

柵格網絡 Occupancy Network

Occupancy Network是純視覺自動駕駛技術的里程碑，它是一種基于學習函數空間的三維重建表示方法。

和傳統多視圖立體幾何算法相比，學習模型的方法能夠編碼3D形狀空間中的豐富先驗信息，這有助于解決輸入的模糊性，其3D表征離散化的不同輸出的對比如下圖所示，可以看出柵格網絡數據最為清晰。

生成模型的方法在高分辨率的圖像上已經取得了很好的效果，但是還沒有復制到3D領域。與2D領域相比，暫時還沒有就3D輸出表示達成一致，這種表示既能提高內存效率，又能從數據中有效推斷。

出自論文：Occupancy Networks: Learning 3D Reconstruction in Function Space

該技術被特斯拉應用于自動駕駛領域，Occupancy Network在HydraNet基礎上通過添加高度這個維度對2D BEV空間進行擴展，其首先對圖像的特征圖進行MLP學習生成Value和Key，在BEV空間通過柵格坐標的位置編碼來生成Query，新柵格的區別是采用原有的2D柵格和高度一起構成3D柵格，對應生成的特征也從BEV特征變成了Occupancy特征。

交互規劃 Interactive Planning

自動駕駛中交互規劃非常重要，本次特斯拉主要采用交互搜索來解決復雜路口的交互建模，其中交互搜索分為三個步驟：樹搜索、神經網絡軌跡規劃和軌跡打分。

規劃是自動駕駛的另一個重要模塊，特斯拉這次主要強調了在復雜路口對交互 (Interaction) 進行建模。

為什么交互建模如此重要？因為其他車輛、行人的未來行為都有一定的不確定性。一個智能化的規劃模塊要在線進行多種自車和他車交互的預測，并且對每一種交互帶來的風險進行評估，并最終決定采取何種策略。

其交互規劃分為三步：

（1）樹搜索進行軌跡規劃，有效發現各種交互情形，找到最優解。但用搜索的方法來解決軌跡規劃問題遇到的最大困難是搜索空間過大。

（2）確定目標后，確定一條到達目標的軌跡。傳統的規劃方法往往使用優化來解決該問題，解優化并不難，每次優化大約花費1到5毫秒，但是當前面步驟樹搜索給出的候選目標較多時，無法負擔時間成本。因此特斯拉提出使用另一個神經網絡來進行軌跡規劃，從而對多個候選目標實現高度并行規劃。

（3）得到一系列可行軌跡后，選擇一個最優方案。這里采取的方案是對得到的軌跡打分，打分方案集合了人為制定的風險指標、舒適指標，還包括了一個神經網絡的打分器。

通過以上三個步驟的解耦，特斯拉實現了一個高效且考慮交互的軌跡規劃模塊。

車道網格 Lanes Network

特斯拉的車道網格網絡借鑒了慎獨學習語言模型中Vector Lane模塊。

整個模塊的思路是把車道線相關信息包括車道線節點位置，車道線節點屬性（起點、中間點、終點等）、分叉點、匯合點，以及車道線樣條曲線幾何參數進行編碼，做成類似語言模型中單詞Token的編碼，然后利用時序處理辦法進行處理。

Lanes Network在模型結構上，是感知網絡架構基礎上的一個Decoder。相比解碼出每個像素的Occupancy和語義，解碼出一系列稀疏的、帶連接關系的車道線更為困難，因為輸出的數量不固定，此外輸出量之間還有邏輯關系。

自動標注 Auto Labeling

數據是AI算法訓練和正確決策的基石。特斯拉在此次盛典上介紹的Auto Labeling是在Vector Space上的標注，需要對數據進行分析處理、搭建數據標注工具。

通過一個離線大模型對數據進行標注，車載模型相當于對大模型進行蒸餾；并且擁有強大的數據采集能力。其核心技術方面使用了三維重建與視覺SLAM等算法。

特斯拉對無人駕駛數據的重視可以表明數據是一切深度學習模型的基石，模型只有通過充分、大量、高質量的標注數據進行訓練，才能提升魯棒性和精準性，但自動標注依然無法達到人工標注的精準、可靠。

Magic Data通過專業的數據團隊能夠提供數據解決方案支撐自動駕駛相關研究。作為全球領先AI數據解決方案提供商，Magic Data具有完善的采集流程和高效采集工具，采集數據符合全球數據安全規定。自研標注平臺Annotator能夠提供一站式標注，并支持3D點云、多模態等數據標注。最終通過專業的數據測試模型校驗數據，保證數據質量。

• 歡迎訪問官網，了解更多智慧出行AI數據解決方案

• http://www.yebxkn.cn/industry/automotive