Традиционните автономни системи за вземане на решения често разчитат на модулен дизайн. От възприемането на околната среда, планирането на вземане на решения до контрола на превозните средства, всяка подсистема работи независимо и съвместно контролира работата на автомобила. При сложни сценарии на трафик тази йерархична архитектура е предразположена към проблеми като кумулативни грешки, загуба на информация и недостатъчна ефективност в реално време. Големите модели постепенно променят тази ситуация със своите масивни параметри, възможности за обработка на кръстосани данни и парадигми от край до край. Той може не само да постигне ефективно сливане на много сензорни данни на ниво възприятие, но и да планира по-разумни стратегии за шофиране на превозните средства чрез дълбоко семантично разбиране и логически разсъждения на нивото на вземане на решения, като по този начин повишава цялостната безопасност и стабилност.
Предимствата на големите модели при автономно шофиране
Процесът на развитие на автономната технология за шофиране премина през множество етапи, от ранно подпомагано шофиране до постепенния преход до напълно автономно шофиране. Ранните системи най -вече разчитат на просто откриване на обекти и контрол на правилата. С развитието на дълбокото обучение приемането на методи като CNN, RNN и дори GAN непрекъснато подобрява възприемането на околната среда и възможностите за вземане на решения. Освен това технологията, комбинираща представянето и трансформатора на BEV (Bird's Eye), до известна степен съставлява недостатъците на традиционните методи при пространствено-времево моделиране. Може да се каже, че въвеждането на големи модели е основно прекрояване на цялостната архитектура на автономните системи за шофиране, поставяйки солидна основа за комерсиализация на нивата на L3, L4 и дори L5 в бъдеще.
Архитектурата на модела, базирана на трансформатора, обикновено приема механизма за самопризнаване, който може да улови зависимостите на дълги разстояния, като по този начин значително подобрява глобалността и точността на обработката на информацията. Чрез подхода за настройка преди тренировка моделът е предварително обучен на мащабни безапелационни данни и след това се прецизира за специфични автономни задачи за шофиране. Това не само намалява разчитането на голямо количество етикетирани данни, но също така дава възможност на модела да има добри възможности за миграция на кръстосана домейна. Мултимодалните големи модели могат едновременно да обработват различни форми на данни като изображения, точкови облаци и радарни данни, постигайки скок от „виждане“ до „разбиране“ и даване на автономни системи за шофиране с познавателни възможности, подобни на тези на хората.
Специфичното приложение на големи модели при автономно шофиране
В автономните системи за шофиране прилагането на големи модели се отразява главно в множество аспекти като възприемане на околната среда, вземане на решения и планиране и контрол на превозните средства. По отношение на възприемането на околната среда, традиционните системи се разчитат главно на данните на един сензор за откриване на целта и семантична сегментация. Въпреки това, поради ограниченията на осветлението, времето и самите сензори, те често изпитват затруднения да се справят със сложни сценарии. Чрез мултимодална технология за сливане на данни, големите модели могат да интегрират различни данни като камери, лидари, радари на милиметрова вълна и карти с висока точност, за да образуват по-богато и точно представяне на околната среда. Например, моделът на визуално езиково действие (VLA) може едновременно да извлече визуалната информация и семантичната информация в изображението и показва изключително висока точност при откриване на препятствия, прогнозирайки пешеходското поведение и съдийните пътни условия. След като информацията за множество сензори е дълбоко слята от големия модел, не само устойчивостта на откриването на целта се подобрява, но и прогнозирането на динамични сцени може да се постигне чрез анализ на времеви серии, осигурявайки по-надежден принос за вземане на решения за превозни средства.
На нивото на вземане на решения и планиране традиционните автономни системи за шофиране обикновено разчитат на предварително зададени правила или алгоритми за планиране, базирани на модели, за да превърнат резултатите от възприятието в решения за планиране на пътя и действие. Този метод обаче е предразположен към повреда, когато се сблъска със сложни условия на трафик, които никога не са били виждани досега, а дизайнът на интерфейса между всеки модул е доста твърд, което затруднява постигането на оптимизация от край до край. Чрез рамка за учене от край до край, големите модели могат директно да извлекат ключова информация от суровите данни за сензора и да генерират команди за контрол на превозните средства чрез присъщи логически разсъждения. DriveGpt -4 и Languagempc са демонстрирали потенциала за използване на големи модели за вземане на решения с много задачи. Техните модели могат не само да генерират разумни стратегии за шофиране в сложни сценарии, но и да предоставят подробни обяснения, подобрявайки интерпретацията на системата. Предимството на това вземане на решения от край до край се крие в намаляването на междинните грешки в процеса на предаване на информация и позволява на цялата система да има възможност да се адаптира към нови сценарии.
Контролът на превозното средство като последна стъпка на автономно шофиране изисква не само точността на вземането на решения, но и гаранцията за реакцията на системата в реално време. Тъй като големите модели обикновено имат множество параметри и огромни изчислителни разходи, има определени предизвикателства в тяхното пряко внедряване на системи, монтирани на превозни средства. Индустрията направи обширни проучвания в компресията на модела и леко тежи. Чрез технологията за дестилация на модела, основните знания в големи модели се извличат и след това се прехвърлят в малки и ефективни модели, за да се постигне перфектно съвпадение с хардуера в превозното средство (като серията NVIDIA Drive AGX). Тази технология не само запазва високата работа на големите модели, но също така гарантира, че времето за реакция отговаря на изискванията за контрол в реално време, като по този начин играе значителна роля в процеса на комерсиализация на автономно шофиране на L3/L4.
В симулацията и проверката на затворен контур на автономното шофиране, големите модели също демонстрират значителни предимства. Обучението с мащабни данни и синтетични сцени може да конструира реалистични световни модели, а тестването със затворен контур може да бъде постигнато във виртуална среда чрез цифрова технология близнаци. Този метод не само значително намалява рисковете и разходите за провеждане на голям брой тестове по реални пътища, но също така може бързо да симулира различни екстремни и дълги сцена, осигурявайки достатъчна поддръжка на данни за итеративната оптимизация на модела. EMMA моделът на Waymo, чрез използване на симулационни платформи и големи модели технологии, постигна високо прецизно прогнозиране на траекторията и вземане на решения за избягване на сблъсък. Изпълнението му далеч надхвърля тази на традиционните йерархични системи, осигурявайки нов подход за проверка на затворен контур на бъдещите напълно автономни системи за шофиране.
В допълнение, големите модели също изиграха значителна роля за повишаване на сигурността на системата и потребителското изживяване. Автономното шофиране не е просто технически проблем; Той също така включва проблеми с взаимодействието между човека и социалното доверие. Чрез технологията за обработка на естествен език, големите модели могат да постигнат разговори в реално време с драйвери, да предоставят предложения за шофиране и аварийни сигнали и дори да предлагат персонализирана помощ въз основа на емоциите на водача. Подобен дизайн на взаимодействие може значително да подобри доверието на пътниците, което прави автономната система за шофиране не само по -напреднала в технологиите, но и повече в съответствие с нуждите на потребителя в практически приложения.
Какви предизвикателства представляват големите модели при автономно шофиране?
Въпреки че големите модели показват голям потенциал в областта на автономно шофиране, все още има много проблеми при трансформирането им от лабораторни постижения в търговски приложения. Ресурсите в реално време и изчислителните ресурси са едно от основните затруднения в момента. Големите модели обикновено имат голям мащаб от параметри и висока изчислителна сложност. Да се генерират решения в рамките на милисекундното ниво представляват изключително високи изисквания за изчислителната мощност на платформата за компютърни превозни средства. Могат да се използват специални AI чипове и големи модели могат да бъдат компресирани чрез техники като дестилация и квантоване на модела, като се стремят да отговорят на изискванията за реакция в реално време, като същевременно осигуряват ефективност.
Проблемите с сигурността и стабилността също са основни предизвикателства при прилагането на големи модели. След като автономното превозно средство направи грешка в вземането на решение, последствията могат да бъдат много сериозни. Следователно големите модели трябва да претърпят строго тестване и проверка, преди да бъдат използвани в практическа употреба, за да се гарантира, че те могат да реагират правилно в различни сложни и екстремни сценарии. Поради естеството на "черната кутия" на големите модели, техните вътрешни процеси на вземане на решения често са трудни за обяснение. Как да подобрим интерпретируемостта на модела, като същевременно се гарантира, че високата производителност се превърна в спешен проблем, който регулаторните органи и производителите на автомобили да решат. В бъдеще, чрез комбиниране на методи като укрепване на обучението, фина настройка въз основа на човешките отзиви и ограниченията на правилата, се очаква да проектират системи за вземане на решения, които са едновременно ефективни и прозрачни.
Поверителност на данните и етични проблеми не могат да бъдат игнорирани нито при прилагането на големи модели. Автономните системи за шофиране трябва да събират голямо количество данни за превозни средства, екологични и потребители, а сигурното съхранение и използването на тези данни са пряко свързани със защитата на поверителността на потребителите. Как да използваме напълно предимствата на големите данни, като същевременно се гарантира сигурността на предаването и обработката на данни е първият въпрос, с който трябва да се справят регулаторните органи. Необходимо е да се формулират строги стандарти за защита на данните и механизми за защита на поверителността, за да се предоставят институционални гаранции за безопасното прилагане на големи модели при автономно шофиране.
Сътрудничеството между софтуера и хардуера също е ключът към внедряването на големи модели. Успешното приложение на големи модели не само зависи от иновациите на алгоритъма, но също така изисква високоефективна хардуерна поддръжка. Понастоящем основните производители последователно стартират компютърни платформи за ново поколение, като NVIDIA Drive AGX Pegasus, Atlan и др. Тези платформи предоставят хардуерни гаранции за извода в реално време и широкомащабно внедряване на големи модели. Непрекъснатото развитие на сензорната технология също осигурява по-изобилни и висококачествени източници на данни за мултимодално сливане на данни. С непрекъснатото подобряване на цялата екосистема на автономно шофиране, дълбоката интеграция на софтуера и хардуера е длъжна да насочи цялата индустрия в чисто нова ера на интелигентно пътуване.
Дълбокото въздействие на големите модели върху автономната технология за шофиране се отразява само в техническите детайли, но също така предизвика промяна на парадигмата от традиционните модулни системи към край до край и от възприятието към когнитивната интелигентност. Бъдещата система за автономно шофиране, ръководена от големи модели, ще постигне по-високо възприемане на околната среда, по-гъвкаво вземане на решения и планиране, както и по-безопасен и по-ефективен контрол на превозните средства. В същото време той ще достигне ново ниво в взаимодействието между човека-машина, персонализирана помощ и сигурност на данните.