Автомобильный компьютер Nvidia Drive PX под управлением Linux предлагает 5 уровней автономии

Nvidia представила компьютер «Drive PX Pegasus» для автомобилей 5-го уровня, который работает под управлением Linux на четырехъядерных процессорах Xavier с четырьмя ядрами и 640-ядерным графическим процессором Volta.

На технологической конференции по графическим процессорам в Мюнхене основатель и генеральный директор Nvidia Дженсен Хуанг (Jensen Huang) представил более мощную версию платформы Drive PX на базе Linux для автономных автомобилей.
Drive PX Pegasus - первая система, которая обещает новый класс полностью автономных автомобилей без водителя уровня 5 «без рулевого колеса, педалей или зеркал». Компактный компьютер Drive PX Pegasus может обрабатывать более 320 триллионов операций в секунду, что в 10 раз превышает мощность прошлогодний Drive PX 2 , утверждает Nvidia.


Drive PX Pegasus

(щелкните изображение, чтобы увеличить)

Drive PX Pegasus объединяет до четырех новых восьмиъядерных процессоров Xavier SoC от Nvidia со встроенными графическими процессорами Volta и добавляет еще два дискретных графических процессора (см. Ниже).
Компьютер объединяет входы 360-градусных объемных камер высокого разрешения, радаров и LIDAR, чтобы воспринимать окружение автомобиля и локализовать его с точностью до сантиметра.
Pegasus имеет несколько уровней избыточности, помогая надежно отслеживать транспортные средства и людей вокруг автомобиля, а затем планировать безопасный путь.

Немецкий почтовый и логистический гигант Deutsche Post DHL Group (DPDHL) и поставщик автомобилей ZF планируют развернуть испытательный парк автономных грузовиков доставки на базе Pegasus, начиная с 2018 года. Deutsche Post DHL оснастит свои электрические легкие грузовики самоходным двигателем ProAI на базе Pegasus ZF. система.
DPDHL продемонстрировал прототип транспортного средства доставки Pegasus с шестью камерами, двумя LIDAR и одним радаром.

По крайней мере 25 партнеров уже работают над «роботаксисом» уровня 5 с использованием Pegasus, причем большинство из них первоначально предназначались для использования в кампусах, аэропортах и ​​других относительно контролируемых средах.
Говорят, что система Pegasus размером с «номерной знак» заменяет систему Drive PX 2, которая занимает большую часть багажного отделения автомобиля, позволяя небольшим транспортным средствам с самостоятельным управлением или роботизироваться с большим количеством пассажирских и грузовых помещений.

Переход Nvidia на автомобильный рынок с мобильных графических процессоров стал одним из наиболее драматичных изменений в мире технологий в последние годы, и его решение перепрыгнуть через информационно-развлекательную систему в автомобилях (IVI) для разработки автономных автомобильных компьютеров стало еще большей азартной игрой.
Утверждение уровня 5 еще более дерзкое, но его большой список партнеров предполагает, что в этом есть что-то.


Генеральный директор Nvidia Дженсен Хуан демонстрирует демо-версию Holodeck

(щелкните изображение, чтобы увеличить)

На мюнхенском мероприятии Хуанг также анонсировал новые подробности о еще одной столь же футуристической, передовой технологии: ранее примененном приложении Holodeck VR.
Holodeck позволит дизайнерам автомобилей и других продуктов удаленно сотрудничать в фотореалистичных средах виртуальной реальности.

Хуан также продемонстрировал робота с поддержкой искусственного интеллекта «Nvidia Isaac», обученного с помощью симулятора робота Project Isaac от Nvidia, а также технологии AI «Vincent» от Cambridge Consultants.
Винсент, у которого есть нейронная сеть, обученная на суперкомпьютере Nvidia DGX AI, может превратить быстрые наброски в стиль мастеров.

Inside Drive PX Pegasus

Drive PX Pegasus может масштабироваться от решения с одним SoC, которое обеспечивает ADAS-подобное, AutoCruise уровня 2 + / Level 3, вплоть до автономной конфигурации Quad-SoC Level 5.
Между прочим, он поддерживает режим AutoChauffeur для автоматического перемещения из пункта в пункт.
Nvidia уже предлагает платы Drive PX Parker AutoCruise и Drive PX Parker AutoChauferur, основанные на технологии Drive PX 2, управляемой Tegra.


Картографирование объектов в Пегасе

(щелкните изображение, чтобы увеличить)

В режиме уровня 5 Pegasus объединяет глубокое обучение, сенсорный синтез и объемное зрение в режиме реального времени.
Разработанный для сертификации безопасности ASIL D высочайшего уровня, компьютер использует свою технологию Deep Neural Networks (DNN) для мгновенного анализа данных слитых датчиков и обнаружения и классификации объектов.

В то время как в предыдущем Drive PX 2 использовались двойные SoC Tegra и дискретные графические процессоры Pascal, Drive PX Pegasus построен на интеллектуальном накопителе Nvidia Drive PX Xavier SoC, который был анонсирован в прошлом году и будет широко доступен в первом квартале 2018 года. Включая 7 миллиардов транзисторов, Navidia утверждает, что восьмиъядерное ядро ​​Xavier SoC обеспечит производительность в 30 TOPS (триллионов операций в секунду) и потребляет всего 30 Вт.

Каждый из до четырех SoC Xavier в системе Pegasus включает графический процессор на основе архитектуры Nvidia Volta .
16-нм FinFET Xavier SoC также включает новый ускоритель компьютерного зрения.
Компьютер Pegasus дополняет Xavier за счет интеграции двух дискретных графических процессоров «следующего поколения» с «оборудованием, созданным для ускорения алгоритмов глубокого обучения и компьютерного зрения».


Панель управления Xavier (слева) и графический процессор Volta

(нажмите на картинку, чтобы увеличить)

Новый графический процессор Volta объединяет 640 тензорных ядер и 21 миллиард транзисторов и считается самым мощным графическим процессором в истории.
Nvidia заявляет, что Volta обеспечивает более 100 терафлопс в секунду (TFLOPS) производительности глубокого обучения.
Говорят, что это в пять раз превышает производительность графического процессора Nvidia Pascal.
Графический процессор с поддержкой CUDA также интегрирует новую технологию высокоскоростных межсоединений NVLink, которая, как утверждается, обеспечивает удвоенную пропускную способность предыдущего поколения.

Пегас обладает комбинированной пропускной способностью памяти, которая превышает 1 терабайт в секунду.
Система обеспечивает автомобильные входы / выходы, включая CAN и Flexray, а также несколько портов Ethernet 10-GbE.
Имеется также 16-кратный выделенный высокоскоростной сенсорный вход для камеры, радара, LIDAR и ультразвука.

Агент Drive IX AI на базе Linux и платформа Nvidia Drive

С запуском Pegasus компания Nvidia представляет голосовой агент Drive IX, управляемый DNN, и второго пилота для конфигураций ADAS, который также работает с Drive PX 2. Drive IX отслеживает движение головы и взгляд, а также отслеживает систему датчиков Drive PX для предупреждения водитель в потенциально опасных ситуациях, таких как вторжение в слепую зону.
Этот превосходный водитель на заднем сиденье может даже интерпретировать жесты и читать по губам, а также давать советы, основанные частично на «взглядах на водителя», говорит Нвидия.

Drive IX может решить, когда Drive PX может самостоятельно управлять автомобилем и когда ему следует передать управление водителю, возможно, из-за плохой погоды или чрезмерного движения пешеходов.
Он также может определить, когда водитель находится в затруднительном положении или испытывает сонливость или ярость на дороге, а затем рекомендовать перейти на автономное управление.
Выбор операции в конечном счете зависит от водителя, хотя контролеры парка (и, возможно, страховые компании), вероятно, смогут принять решение об ограничении выбора водителя в пользу предполагаемой безопасности автономии.

В то время как Drive PX 2 был доступен для Linux, Android и QNX, Pegasus поставляется только с программным обеспечением Nvidia Drive Platform на базе Linux, согласно заявлению Nvidia.
Эта «открытая программная архитектура» имеет корневую файловую систему, оптимизированную для Ubuntu 16.04 LTS, и основана на Linux 4.4.38 с исправлениями RT_PREEMPT (AKA PREEMPT_RT ) в реальном времени.
Согласно комментарию читателя HardLinux, в сообщении EE Times говорится, что Pegasus также « будет запускать QNX ».

Drive Platform поддерживает 64-битные пользовательские пространства и библиотеки времени выполнения, а также платформу параллельных вычислений Nvidia CUDA 8.0.
Он также поддерживает OpenGL 4.5 / ES 3.2 и EGL 1.5 с расширениями EGLStream.

Дополнительные библиотеки включают в себя Nvidia DriveWorks SDK со справочными приложениями, инструментами и библиотечными модулями, а также «инфраструктуру конвейерного исполнения, которая проходит от обнаружения до локализации, от планирования до визуализации». Другие варианты включают механизм вывода нейронной сети Nvidia TensorRT и CUDA Библиотека глубокой нейронной сети (cuDNN).

Разработчики могут также перенести модели глубокого обучения, разработанные на серверной платформе Nvidia DGX-1, в систему Pegasus.
Интеграция Nvidia-DGX-1 также рекламируется за способность Pegasus развертывать обновления OTA.


Тойота Камри

работает AGL

Одним из необъяснимых аспектов Pegasus является то, в какой степени, если таковые имеются, он контролирует функции IVI или интегрируется со сторонними информационно-развлекательными системами.
Также неясно, в какой степени программная платформа «открыта». На базе Linux Automotive Grade Linux (AGL) предлагается полностью автомобильный дистрибутив с открытым исходным кодом, хотя в настоящее время он ограничен IVI и кластерными элементами управления.

Другие основные технологии самостоятельного вождения автомобиля включают в себя алфавит Waymo.
В сентябре Intel объявила о сотрудничестве с Waymo .
Ожидается, что Intel представит свою новую технологию Mobileye для компьютерного зрения и искусственного интеллекта.
Waymo основан на более ранней технологии Google для самостоятельного вождения автомобилей, которая работала на Linux.
Технология самостоятельного вождения автомобиля Tesla также основана на Linux.

Ряд автопроизводителей и автономных транспортных проектов, таких как MIT Spinoff NuTonomy , строят свои платформы на Drive PX.
В июне NuTonomy подписала соглашение с Lyft о предоставлении услуги совместного использования автомобилей в Бостоне.

«NuTonomy строится для уровня 5, а Pegasus является платформой, которая потребуется для поддержки этих типов систем», - заявил Карл Ягнемма, генеральный директор и соучредитель NuTonomy, в одном из нескольких свидетельских высказываний о поддержке Pegasus.

Дальнейшая информация

Автомобильный компьютер Nvidia Drive PX Pegasus будет доступен в 2018 году. Более подробную информацию можно найти в объявлении Pegasus и на странице Drive PX .