SoC камеры 4K под управлением Linux нацелен на маломощный ИИ

Компания Ambarella начала отбор образцов 10-нм SoC камеры CV28M для периферийного ИИ, который работает под управлением Linux на двух ядрах Cortex-A53 с тактовой частотой 1 ГГц и предлагает обработку CNN CVflow, ISP с разрешением 320 МП / с, кодирование 4Kp30 и функции безопасности.

Прошло пять лет с тех пор, как мы представили новую SoC для камеры Ambarella, и это позор, потому что так весело произносить слова «Ambarella». С момента объявления о выпуске S2Lm на базе Cortex-A9 с поддержкой HD , мы мимоходом упомянули эту компанию в связи с созданием беспилотного летательного аппарата Teal One под управлением Linux и Jetson , в котором используется четырехъядерный квадроцикл Ambarella с разрешением 4K @ 30fps и A53 CV2.

Теперь Ambarella выпустила CV28M, последнюю в своем семействе CVflow процессоров компьютерного зрения с поддержкой ИИ. Как и другие SoC Ambarella, он доступен с Linux SDK и оценочным комплектом.

CV28M

CV8M, оснащенный двумя ядрами Cortex-A53 с тактовой частотой до 1 ГГц, оптимизирован для обработки изображений в приложениях искусственного интеллекта на периферии, предлагая локальную обработку изображений без проблем с безопасностью, конфиденциальностью, подключением и задержкой, связанных с облачной обработкой. Как и недавняя модель Quad -A53
CV25S (PDF), это 10-нм микросхема. Среди других отличий он предлагает более низкое энергопотребление и лучшую поддержку камер с батарейным питанием, роботов и других мобильных или маломощных периферийных устройств.

Приложения включают безопасность умного дома, мониторинг розничной торговли, бытовую робототехнику и мониторинг занятости. На роботе CV28M можно подключить к датчикам, включая видимый, структурированный свет и время пролета (ToF), для захвата, а затем обработки данных, необходимых для навигации.

CVflow Computer Vision Engine предлагает ускорение вывода CNN / DNN для аналитики обнаружения и классификации, включая подсчет людей, распознавание лиц, распознавание номерных знаков, а также классификацию людей, домашних животных и транспортных средств. Вы можете переносить на платформы, включая Caffe, TensorFlow и ONNX.

Блок-схема CV28M

CV28M предлагает кодирование H.265 и H.264 и поддерживает кодирование 4Kp30 AVC и HEVC с поддержкой многопотокового воспроизведения. Интеллектуальные средства управления скоростью SmartAVC и SmartHEVC на основе AI могут «оптимизировать качество изображения при одновременном сокращении требований к хранению видео и пропускной способности сети», - говорит Амбарелла.

CV28M оснащен ISP 320 МП / с с расширенным динамическим диапазоном (HDR) и улучшенной обработкой при слабом освещении. Специальные эффекты включают стабилизацию изображения, коррекцию искажения объектива (LDC), аппаратное устранение искажений, трехмерную временную фильтрацию с компенсацией движения (MCTF) и многое другое. Функции безопасности включают безопасную загрузку с TrustZone, TRNG, OTP, скремблирование DRAM и виртуализацию.

SoC поддерживает видеовход с тремя датчиками с высокоскоростными интерфейсами SLVS, MIPI-CSI и LVCMOS. Есть контроллер GbE и поддержка хоста и устройства USB 2.0, двух контроллеров SD / SDXC, MIPI-DSI, I2S и DMIC.

Другие входы / выходы включают SSI / SPI, I2C, UART, GPIO, PWM, IR и ADC. Процессор BGA размером 11 x 12 мм, шаг 0,65 поддерживает температуру от -25 до 85 ° C.

CV28M использует общий Linux SDK и инструменты компьютерного зрения (CV) с SoC CV25, CV22 и CV2 CVflow от Ambarella. SDK построен на основе 64-битного ядра Linux 4.14. Инструменты CV включают компилятор, отладчик, инструменты переноса и рекомендации по оптимизации CNN. Также существует эталонное приложение с исходным кодом C.

Ambarella предоставила только ограниченные спецификации для своей платформы разработки камер CV28M. Материнская плата подключается к дочерней плате датчика / объектива с поддержкой датчиков от таких поставщиков, как Sony, ON Semi и Omnivision. Пакет eval доступен с файлами спецификации, схем и макетов.

Дополнительная информация

Образцы CV28M доступны сейчас по неизвестной цене. Дополнительную информацию можно найти в объявлении Ambarella и на странице продукта (PDF).