Linux-управляемый комплект Qualcomm для роботов Snapdragon 865

Совместимая с 96Boards платформа Qualcomm Robotics RB5 работает под управлением Linux и ROS 2 на Qualcomm QRB5165 на базе 15-TOPS Snapdragon 865 с дополнительным 5G и камерами, включая RealSense и ToF.

Qualcomm и Thundercomm следили за прошлогодней платформой Qualcomm Robotics RB3 с аналогичным форм-фактором 96Boards Платформа Qualcomm Robotics RB5, которая поддерживает связь 5G и ввод с 7-ми параллельных камер. Набор для разработки под управлением Linux и ROS 2 превращается из Snapdragon 845 в новую специальную роботизированную SoC под названием Qualcomm QRB5165 на базе Snapdragon 865. (В других новостях Qualcomm анонсировала 5G-готовую Snapdragon 690 SoC для телефонов среднего класса).

Версии Qualcomm Robotics RB5 Platform Core (слева) и Vision

(нажмите на изображение, чтобы увеличить его)

Предзаказы доступны для базового комплекта Qualcomm Robotics RB5 за 495 долларов США, который включает в себя носитель 96Boards и отдельный вычислительный модуль, подвешенный на стояках. Вы также можете купить RB5 Vision Kit за $ 695, который добавляет надстройку для мезонина со слежением и основными камерами. Варианты включают камеры Intel RealSense и ToF и дополнительный модуль датчика.


Qualcomm

Robotics RB3

В то время как платформа RB3 была в первую очередь предназначена для наземных роботов, RB5 также продается как платформа для дронов. Приложения включают в себя беспилотные летательные аппараты (БЛА), автономные мобильные роботы (AMR), а также роботов для инспекции, инвентаризации, производства, совместной работы, сортировки, розничной торговли, здравоохранения, уборки и доставки на первую и последнюю мили.

Платформа Qualcomm Robotics RB5 поставляется с инструментами разработки для Yocto или Ubuntu Linux с Robot Operating System 2 (ROS 2). К ним относятся Hexagon DSP SDK и Qualcomm Neural Processing и FastCV Computer Vision SDK, которые вместе обеспечивают следующие функции:

  • Отслеживание, обнаружение и классификация объектов
  • Глубина объекта и избегание
  • Распознавание и распознавание лиц
  • Классификация сцены и понимание
  • Жест и отслеживание рук
  • Голосовая активация и аудио классификация
  • vSLAM (визуальная локализация и картирование)
  • Визуальная инерционная одометрия (ВИО)
  • Планирование пути и формирование 3D карты
  • Избегание препятствий
  • Глубокое обучение

Qualcomm QRB5165

Qualcomm QRB5165 построен на 7-нм изготовленном восьмиядерном ядре Snapdragon 865 . Четыре самых быстрых ядра - это ядра Kryo 585 на базе Cortex-A77 с тактовой частотой до 2,84 ГГц. Существуют также 4-ядерные ядра типа Python Cortex-A55 с тактовой частотой 1,8 ГГц.

Доступные функции Snapdragon 865 включают 587 МГц Adreno 650 GPU и значительно улучшенный процессор Hexagon 698. DSP имеет 15-TOPS шестигранный тензорный ускоритель NPU по сравнению с 7 TOPS на Snapdragon 855.

Другие функции Snapdragon 865 включают процессор сигналов изображения Spectra 480 (ISP). Интернет-провайдер может обрабатывать изображения со скоростью 2 гигапикселя в секунду, обеспечивая захват видео Dolby Vision, запись видео 8K, замедленное видео HD со скоростью 960 кадров в секунду, 200-мегапиксельные фотографии и одновременный захват 4K-видео HDR и 64-мегапиксельных фотографий.

Qualcomm QRB5165 добавляет технологию Engine for Video Analytics (EVA), которая работает с ISP для обработки задач Computer Vision (CV). EVA позволяет обрабатывать 7 параллельных входов камер с одновременной локализацией и отображением (SLAM), обнаружением и классификацией объектов, автономной навигацией и планированием пути в сложных внутренних и наружных условиях.

Qualcomm QRB5165 объединяет сертифицированный FIPS 140-2 блок обработки Qualcomm Secure с защищенной загрузкой, криптографическими ускорителями, средой надежного выполнения Qualcomm (TEE) и защитой на уровне камеры. Наконец, SoC добавляет поддержку температур от -30 до 105 ° C и предлагает дополнительную поддержку жизненного цикла до 2029 года.

Платформа Qualcomm Robotics RB5

Платформа Qualcomm Robotics RB5 состоит из несущей платы и вычислительного модуля, содержащего Qualcomm QRB5165 и 8 ГБ LPDDR5 с возможностью расширения до 16 ГБ. Неясно, находится ли 128 ГБ хранилища UFS 3.0 здесь или на носителе.

Перевозчик указан как совместимый с 96Boards и является частью инициативы 96Boards.AI . Плата имеет те же размеры 85 x 54 мм, что и плата 96Boards CE, но предлагает более низко- и высокоскоростные разъемы.

Вычислительный модуль Qualcomm Robotics RB5 Platform (слева) и версия комплекта Vision с камерой Panasonic ToF

(для увеличения щелкните изображения)

RB5 оснащен слотом microSD, портом GbE и двухдиапазонным 802.11a / b / g / n / ac с Bluetooth 5.0 с антеннами. Также имеются варианты для подсистемы Qualcomm FastConnect 6800 с Wi-Fi 6 (802.11ax), модемом 4G LTE и системой Snapdragon X55 5G Modem-RF.

Плата дополнительно оснащена двумя портами USB 3.0 и одним USB 3.0 Type-C, отладкой micro-USB 2.0 и портами HDMI 1.4. Носитель оснащен двумя усилителями громкоговорителей, микрофоном TDK PDM и другими микрофонами, доступными через дополнительные мезонинные дочерние карты. Также имеется акселерометр TDK с гироскопическими и барометрическими датчиками, а также 11 светодиодов (4 управляемых пользователем), а также адаптер 12 В при 2,5 А и переключатели питания, громкости, загрузки и dip-переключатели.

Вид с обратной стороны материнской платы RB5 с интерфейсами расширения 96Boards (слева) и входами / выходами, доступными на разъемах

(нажмите для увеличения изображения)

Носитель имеет 3 высокоскоростных мезонинных разъема с 60 контактами и 3 низкоскоростных разъема: один со стандартными 40 контактами, а два других с 46 (см. Диаграмму выше). Два 60-контактных разъема предлагают 4-полосный MIPI-CSI для подключения камеры.

За $ 200 вы можете купить RB5 Vison Kit, который добавляет мезониновую плату и 12,3-мегапиксельную основную камеру с сенсором Sony IMX577 , который поддерживает захват видео 4K @ 60. Существует также 1-мегапиксельная, 1280 x 800, черно-белая камера Omnivision OV9282 для слежения и 2 разъема FPC.

Также упоминается технология GMSL, разработанная SERDES . Кабели GMSL могут простираться до 15 метров и поддерживать двунаправленную передачу данных, питание и управление без потери времени ожидания.

Аксессуары включают в себя камеру глубины Intel RealSense D435i за 199 долларов, которая также доступна в качестве опции для набора Core, и камеру Panasonic V4T ToF (время полета) за 65 долларов для 3D-визуализации, для которой требуется комплект Vision. Пока еще нет цены на предстоящий вариант мезонинного датчика TDK.

Qualcomm говорит, что уже есть более 20 ранних разработчиков комплекта, и что поставки продуктов на основе RB5 или дополнения к ним должны быть осуществлены в конце этого года более чем 30 партнерами по экосистеме. К ним относятся 96Boards, Acontis, Adlink, AirMap, AirServe, Airtonomy, AlwaysAI, Расширенные пиксели, Autocore, Autoware Foundation, Canonical, DeepEdge.ai, DreamVu, Dronecode, Fractal.ai, GlobalEdge, программное обеспечение Innominds, InOrbit, Intel RealSense, Lantronix, Linaro, LiteOn, Kudan, ModalAI, Nod, Open Robotics, Panasonic, PathPartners, Pilot.AI, Shoreline IoT, Slamcore, TDK, Thundercomm и Tier IV.

Многие из партнеров предоставили отзывы с несколькими многообещающими специальными робототехническими продуктами, основанными на наборе. «Передовые технологии 4G / LTE, 5G, гетерогенных вычислений, искусственного интеллекта, камер и технологий безопасности, интегрированные в платформу Qualcomm Robotics RB5, позволят нам создавать автономные беспилотники следующего поколения», - заявил Абе Бахрах, технический директор, соучредитель , Skydio, Inc., которая позиционирует себя как «ведущий американский производитель автономных беспилотников».

Дополнительная информация

Официальные продажи платформы Qualcomm Robotics RB5 начнутся в конце июля, но предварительные заказы уже доступны в Thundercomm с неизвестной датой поставки. Базовый комплект стоит 485 долларов, а Vision Kit - 695 долларов. Вычислительный модуль набора также, вероятно, будет доступен в объеме, и Qualcomm и Thundercomm будут работать с клиентами над опциями настройки.

Дополнительную информацию можно найти в объявлении Qualcomm , а также на странице продуктов / покупок Thundercomm и страницах продуктов и разработчиков Qualcomm .