8-мегапиксельная интеллектуальная искусственная искусственная камера от Microsoft, ориентированная на Azure, работает под управлением ОС Linux на Qualcomm SoC

Microsoft анонсировала «Vision AI Developer Kit» за 249 долл. США с 8-мегапиксельной камерой 4K, которая работает под управлением Linux на 10-нм Qualcomm с поддержкой AI QCS603 SoC.
Этот набор предназначен для разработчиков, использующих грани ИИ, с помощью Azure IoT Edge и Azure Machine Learning.

Некоторые из нас, старожилов, все еще привыкли к тому, что Microsoft выбрала Linux для своей платформы Azure Sphere , как это видно из недавнего начального набора Azure Sphere MT3620 от Avnet.
Теперь Microsoft нашла новых партнеров, чтобы помочь ей запустить интеллектуальную камеру на базе искусственного интеллекта на базе Linux.
Vision AI Developer Kit объединяет платформу Vision Intelligence компании Qualcomm, встроенную в ее QCS603 SoC, с сервисом Microsoft Azure IoT Edge , созданным на базе Azure IoT.
Платформа также включает Vision Studio и машинное обучение Azure (AML) для создания, обучения и развертывания моделей машинного обучения.


Vision AI Developer Kit

Vision AI Developer Kit был первоначально объявлен в мае 2018 года как сотрудничество с Qualcomm, которая недавно анонсировала свою платформу Qualcomm Vision Intelligence .
На этой аппаратно-программной платформе для глубокого обучения были развернуты 10-нм изготовленные восьмиъядерные процессоры QCS605 и четырехъядерные процессоры QCS603.

Vision AI Developer Kit продается и распространяется eInfochips и продается компанией Arrow, которая ранее использовала eInfochips для своих собственных марок AI-ML Board и Thor96 SBC .
Этот набор разработан Altek, который также создает эталонный дизайн камеры на основе QCS603 на основе QCS603 на основе QCS603 под управлением Linux.

Vision AI Developer Kit позиционируется как «комплексное решение с поддержкой Azure с локальной обработкой изображений в реальном времени на пограничном устройстве, а также обучением и управлением моделями в Azure». Microsoft утверждает, что этот комплект позволяет «развертывать модели видения». на интеллектуальном уровне за считанные минуты, независимо от вашего текущего уровня машинного обучения ».


Vision AI

Комплект разработчика

Доступны три пути разработки: «без кода» с использованием Custom Vision;
Azure Cognitive Service, пользовательские модели с машинным обучением Azure;
и Visual Studio Code IDE.
Custom Vision, ориентированная на новичков, проводит пользователей через процесс загрузки данных, обучения и развертывания моделей видения клиентов, включая тегирование изображений.
С помощью Vision AI Developer Kit пользователи могут затем использовать Azure IoT Hub для развертывания пользовательской модели видения непосредственно в комплекте.

Более опытные пользователи могут попробовать Azure Cognitive Service с визуальными инструментами перетаскивания для разработки AML.
Эталонные реализации, представленные в записных книжках Jupyter, « проводят учёных по шагам для загрузки обучающих данных в хранилище BLOB-объектов Azure, проводят эксперимент по обучению переносу, преобразуют обученную модель для совместимости с платформой комплекта разработчика и внедряют через Azure IoT Edge», - говорит Microsoft.

Наконец, более продвинутые разработчики могут использовать расширение набора для кода Visual Studio, которое предлагает образцы модулей Python, предварительно созданные конфигурации развертывания IoT Azure и файлы Docker для создания и развертывания контейнеров.
Код Visual Studio также может добавить бизнес-логику в существующие решения Azure на основе ввода данных камеры, отправленных через концентратор IoT Azure, для преобразования данных изображения в нормализованные потоки данных с помощью Azure Stream Analytics.

Qualcomm Vision Intelligence Platform и другие детали оборудования

В ноябре прошлого года мы рассмотрели версию более высокого класса QCS605 Qualcomm Vision Intelligence Platform с рассказом о SBC Open-Q 605 на базе QCS605 от Intrinsyc.
Четырехъядерный процессор QCS605 имеет 8 процессорных ядер Kryo 300, два из которых представляют собой «золотые» ядра 2,5 ГГц, эквивалентные Cortex-A75, и шесть других «серебряных» ядер 1,7 ГГц, таких как Cortex-A55.
Четырехъядерный процессор QCS603 в наборе Microsoft идентичен, за исключением того, что он предлагает только два из 1,7-ГГц «серебряных» ядер вместо шести.

Обе SoC платформы Vision Intelligence оснащены графическим процессором Adreno 615, процессором Hexagon 685 с векторным расширением Hexagon («HVX») и интернет-провайдером Spectra 270.
Все эти чипы являются частью механизма Qualcomm AI Engine, построенного на основе программной среды Qualcomm Snapdragon Neural Processing Engine (NPE), которая позволяет использовать инструменты анализа, оптимизации и отладки для разработки на платформах Tensorflow, Caffe и Caffe2.


Vision AI Developer Kit подробные виды

(щелкните изображение, чтобы увеличить)

Vision AI Developer Kit построен на основе платформы Vision Intelligence 300 компании Qualcomm, также называемой интеллектуальной камерой EIC MS Vision 500.
Устройство создает резервную копию SoC QCS603, управляемого Yocto Linux, с 4 ГБ LPDDR4.
Для хранения есть 16 ГБ eMMC и слот microSD.

Центральным элементом является 8-мегапиксельная камера с поддержкой 4K UHD и четырьмя микрофонами.
Устройство также обеспечивает двухдиапазонное радио 802.11b / g / n, аудиоразъемы ввода / вывода, порт HDMI и светодиоды.
Для питания есть порт USB Type-C и аккумулятор на 1550 мАч.
Устройство может поворачиваться на своей основе, обеспечивая несколько вариантов монтажа.


AWS DeepLens

История VentureBeat, которая предупредила нас о Vision AI Developer Kit, сравнивает этот набор с 4-мегапиксельной камерой AWS DeepLens стоимостью 249 долларов США.
DeepLens работает под управлением Ubuntu на платформе Intel Cherry Trail.

Дальнейшая информация

Набор разработчика eInfochips / Altek Vision AI доступен за 249 долларов на этой странице покупок Arrow .
Дополнительную информацию можно найти в объявлении о поставке Microsoft Vision AI Developer Kit, а также на странице продукта и странице GitHub .
У Altek также есть собственная страница продукта для комплекта, которую Altek называет AI Camera.