智能汽车技术 “端到端”渐行渐近，自动驾驶迎来新时刻

2024年3月，特斯拉在北好意思地区防御推送FSD V12版块，最大卖点是端到端神经相聚模子上车。

相较于过过去刻阶梯，端到端时刻通过深度学习模子，从原始传感器数据中奏凯索要信息，简化了过往紊乱的自动驾驶系统架构，在终了感知到限度无缝一语气的基础上，极大提高了系统的反馈速率和环境合适性。

鉴于端到端决策在复杂城市环境中展现出的高合适性和高可靠性，国内包括华为、小鹏、理念念、蔚来、商汤科技、元帅启行等繁密主机厂和智能驾驶时刻公司纷繁入局，端到端决策速即成为自动驾驶业内缓和的焦点。

一、端到端是什么?

在深度学习中，端到端的英文翻译为“End-to-End(E2E)”，指的是一个AI模子，唯有输入原始数据就不错输出最终收尾。

在自动驾驶领域，端到端模子将蓝本感知、权衡、计算等多个模子组合的架构，变成了“感知决策一体化”的单模子架构，这意味着通过录像头、雷达等传感器获得的数据，在单模子架构中奏凯生成限度车辆的提醒，省去了传统系统中多个孤独模块之间的复杂信息传递过程。

率先建议端到端决策的是英伟达。2016年，英伟达发布了一篇名为“End to End Learning for Self-Driving Cars”的论文，以CNN搭建了一套端到端自动驾驶决策。

但竟然带火端到端并开头将端到端时刻决接应用到量产车型上的是特斯拉。而在该决策落地前，特斯拉自动驾驶时刻决策历经了多代版块更替：

2018-2019年特斯拉通过多头结构HydraNets算法处治了自动驾驶场地检测的多任务问题；2020-2021年推出了BEV+Transformer大模子算法，构建俯瞰角全景图，处治了2D-3D空间调整和感知性能问题；2022年引入占用相聚，具备感知一般袒护物的智商；2023年特斯拉防御建议端到端决策，奏凯将传感器信息输入神经相聚，提高感知和决策规控合座性能。

2024年3月，FSD V12版块防御推送。在该版块上，特斯拉不再将自动驾驶系统分为感知、决策、实际等繁密模块，而是整合成了一个神经相聚。比拟较于FSD V11，FSD V12改进性地接纳了端对端神经相聚时刻，不错更好地舆解和处理复杂驾驶环境，减少驾驶东说念主员的侵扰，提高自动驾驶的精准度和自动化度。

具体而言，FSD V12版块具备如下特质：

1）端到端神经相聚时刻：FSD V12接纳了端到端神经相聚时刻，大模子仅需输入视频进行学习，无需单独编码。决策阶段不需要事前东说念主为编写限度规矩，只需要输入大批视频交给NN学习，就能终了自主决策。这使得自动驾驶系统不错奏凯从车辆说念路视频数据中学习，增强了系统的自动化水平；

2）减少代码量：与此前版块比拟，V12版块告据说统的规矩驱动，驾驶决策交由AI算法生成，因此终昭彰大幅减少代码量，简短30万行的C++代码从后端被删除；

3）数据驱动的决策计算：V12版块不再依赖东说念主工编码，而是通过提供检修数据让东说念主工智能自主学习驾驶活动。这种数据驱动的秩序不仅提高了系统的智能化水平，还终昭彰在莫得相聚的情况下仍能安全脱手；

4）录像头数目和澄清度：为了提高感知智商，V12版块加多了录像头数目并提高了录像头澄清度，每个录像头拍摄速率可达每秒36帧，内容脱手速率可达每秒50帧；

5）功能体验升级：V12版块在功能体验上终昭彰最初式提高，不详处理各式复杂corner case，如可绕开施工紧闭路段、识别异形袒护物、识别大地积水等。此外，还具备Autopark泊车功能，可终了平行泊车等，并增强了对红绿灯和含翰墨路标等的识别和说明智商。

端到端自动驾驶时刻因其无损传递、数据驱动、全局优化的本性，展现出联系于模块化自动驾驶的应用后劲与相对上风，当今国内繁密主机厂和智能驾驶时刻公司也纷繁进行跟进：

小鹏汽车在“AI DAY”上文告将向用户推送基于端到端大模子的智能驾驶和智能座舱系统； 华为在智能汽车处治决策发布会上，发布了以智能驾驶为中枢的全新智能汽车处治决策品牌——乾崑，并推出接纳端到端架构的ADS 3.0； 理念念汽车在智能驾驶夏日发布会上发布了端到端自动驾驶时刻架构； 地平线发布了SuperDrive全场景智能驾驶处治决策，使用了动态、静态、Occupancy三网合一的感知端到端架构……

一时间，各大车厂与时刻决策提供商纷繁卷向“端到端”。那么“端到端”决策究竟有什么魔力呢？

二、端到端时刻的上风

相较于过过去刻阶梯中，感知、决策、限度等各个孤独模块以活水线式架构进行拼接的口头，端到端时刻接纳合座化神经相聚，将蓝本感知、权衡、计算等多个模子组合的架构，变成了“感知决策一体化”的单模子架构。

在模子的一端输入感知信息，另一端奏凯输出轨迹或者限度信号，终了对通盘这个词驾驶活动的“会通会通”，这么带来的上风止境显赫：

1）简化系统架构，信息无损传递

站群论坛

传统的自动驾驶系统经常由多个模块构成，包括感知、权衡、计算和限度等，这些模块需要协同责任。当东说念主为界说的概括贪图并不成邃密描写场景时，卑劣模块只可把柄有限的信息作念判断，容易出现信息传递的杂音和瑕玷累积问题，形成失实收尾。

而端到端模子通过合座化神经相聚将通盘功能整合在一皆，全部传感器感知到的数据都会被相聚，唯稀有据填塞，模子会自动学习并处理相应问题，并奏凯从输入数据生成输出限度号召，极大简化系统结构，提高野心着力。

2）数据驱动，性能上限更高

传统模块化算法依靠工程师手动处理长尾场景，但跟着城区NOA的落地，长尾场景处理成为主流，数据体量显赫增大，形成数据处理着力的安宁下跌。而端到端模子基于大数据和深度学习时刻，彻底由数据驱动，减少了东说念主工侵扰的比例。

365建站客服QQ：800083652

模子不详从大批竟然驾驶数据中学习到东说念主类驾驶活动，并进行全局优化，使驾驶活动愈加拟东说念主化，从而裁汰了东说念主为偏见的影响。这种数据驱动的秩序让模子愈加客不雅和公说念地处理各式驾驶情况，这不仅提高了驾驶体验，还增强了系统的合适性和鲁棒性。

3）提高野心着力

传统模块化算法中，数据信息在各个模块传递之间不可幸免会出现瑕玷问题，举例标定瑕玷、定位精度瑕玷、限度瑕玷等，这些信息最终会鄙人游累积。同期，模块之间的信息传递与野心也需要破耗额外时间，救急处明智商较弱。

由于端到端模子只需处理一次数据调整，幸免了传统秩序中的多级编解码过程，因此不错减少野心冗余，提高合座算法脱手的着力。此外，端到端模子不详更高效地诈欺算力和数据进行检修，进一步提高系统性能。

4）面向合座进行全局优化

传统模块化算法中，每个模块都需要工程师界说场地并进行优化，可能出现局部最优但合座收尾差的情况。端到端模子则对通盘这个词经由进行优化，以最小化合座蚀本函数为场地，愈加准确地更新每个相聚层中的参数，以使体验达到最优景况。

三、端到端时刻的挑战

相较于过往决策，端到端时刻简直领有跨代般的上风，但这种上风的设立却并不狂放。

端到端决策一个很紧要的特质即是将原有的多个模子组合的架构，变成了一体化的单模子架构。传统模式下，海量碎屑化corner case的处理依赖的是工程师的继续界说。而端到端决策则彻底由数据驱动，换言之，智驾决策从工程师密集型转向数据密集型。

端到端决策对数据需求量有多高，当今暂无一个明确的数字，特斯拉在端到端神经相聚开拓发轫，共投喂了1000万个经过筛选的东说念主类驾驶视频片断，视频总小时超越4万小时，后续供进一步筛选的东说念主驾视频又以1600亿帧/天的速率加多，数据合座范围号称海量。

除数据需求体量几何级增长外，数据质料要求相似水长船高。端到端智能驾驶学习的是驾驶活动，需要极其远大的高质料数据救济，包括千般化的说念路场景、天气条目以及交通活动样本。此外，还需要处理来自多种传感器的数据（如录像头、雷达和激光雷达），以终了对环境的全面感知。这要求系统不详有用整合不同模态的信息，以提高决策的准确性和鲁棒性。

检修数据的紧要性，在端到端时刻渐渐成为主流确当下，得到前所未有的提高。数据量、数据标注、数据质料、海量数据的存储与不断都可能成为狂放端到端应用的挑战。

当作行业最初的AI基础架构与数据智能平台处事商，曼孚科技遥远专注AI数据处事领域，中枢产物包括DaaS数据标注平台、数据不断平台、AutoLabeling平台、模子检修平台以及大模子标注平台等，提供从数据准备到模子应用的端到端处治决策。

数据处理方面，MindFlow SEED数据处事平台是国内较早成体系、大范围商用的自动驾驶数据标注平台产物。平台以AI+RPA智商为中枢，救济自动驾驶等场景下2D、3D、4D全类别标注，如2/3D会通、3D点云分割、点云时序叠帧、BEV、4D点云车说念线、4D点云分割等。

此外，平台还提供超越4000+的功能模块，包括点云AI实景渲染、点云及时配准叠帧、一语气帧跟踪标注、平铺视图、自界说python剧本可视化、系统自动校验等，救济亿级点云渲染，有用餍足海量corner case数据处理的进击需求。

数据不断方面，曼孚科技数据不断平台提供数据托管、可视化、版块不断、数据往复等处事，有用处治端到端决策下海量多源异构数据存储通顺等问题，提高数据使用与不断着力。

当今，曼孚科技已处事自动驾驶领域上百家企业，包括主机厂、造车新势力、Tier1、算法公司等，在端到端数据处事领域麇集了丰富的实际与请托训戒，为端到端模子的检修与调优提供了充足的燃料。

畴昔，曼孚科技将进一步完善数据闭环智商，膨胀对多模态数据集的开拓与处理范围，救济端到端决策早日终了范围化交易落地。

数据架构模子端到端曼孚科技发布于：广东省声明：该文不雅点仅代表作家本东说念主，搜狐号系信息发布平台，搜狐仅提供信息存储空间处事。