Нейронный SDK Snapdragon 835 предназначен для штуковин Android и Linux

SDK Qualcomm Snapdragon Neural Processing Engine для Snapdragon 835 поддерживает AI Caffe, Caffe2 или TensorFlow AI Framework для целей Linux или Android.

В мае 2016 года Qualcomm анонсировала свой первый набор инструментов для глубокого обучения, названный Snapdragon Neural Processing Engine для системы на кристалле Snapdragon 820.
Теперь он выпускает более продвинутый SDK для Snapdragon 835 (APQ8098).


Упрощенная блок-схема Snapdragon 835

(щелкните изображение, чтобы увеличить)

SDK Snapdragon Neural Processing Engine (NPE) поддерживает ускоренные рабочие нагрузки глубоких нейронных сетей на мобильных и периферийных устройствах на базе Linux или Android, построенных на Snapdragon 835. Инструменты разработки, адаптированные для настольного компьютера Ubuntu 14.04, поддерживают приложения Java для Android или собственные форматы, написанные для Android или Linux.
Платформа позволяет разработчикам запускать обученную модель искусственного интеллекта на устройствах без использования облачного подключения.

Snapdragon NPE SDK для 835 позволяет разработчикам реализовать «глубокое изучение пользовательского опыта, такого как передача стилей и фильтры (дополненная реальность), обнаружение сцен, распознавание лиц, понимание естественного языка, отслеживание и избегание объектов, жесты и распознавание текста», - говорит Qualcomm ,
Приложения включают мобильные, автомобильные, медицинские, охранные системы, системы визуализации, AR-оборудование, дроны, робототехнику и интеллектуальные периферийные устройства IoT.

Вместо добавления «еще одной библиотеки сетевых уровней», NPE SDK поддерживает платформы глубокого обучения Caffe и Caffe2 , а также Google TensorFlow, говорит Qualcomm.
Поддержка TensorFlow стала возможной благодаря интеграции Qualcomm службы поддержки машинного обучения TensorFlow в процессор Hexagon 682 Snapdragon 835.


Рабочий процесс разработки Snapdragon NPE

(щелкните изображение, чтобы увеличить)

Функции Snapdragon NPE SDK для Snapdragon 835 включают в себя:

  • ОС Android и Linux для выполнения модели нейронной сети
  • Поддержка ускорения для процессоров Qualcomm Hexagon, графических процессоров Adreno и процессоров Kryo
  • Поддержка моделей в форматах Caffe, Caffe2 и TensorFlow
  • API для управления загрузкой, выполнением и планированием во время выполнения
  • Настольные инструменты для конвертации моделей
  • Тест производительности для выявления узких мест
  • Пример кода и учебники
  • HTML документация

После разработки и обучения модели Snapdragon NPE этот файл преобразуется в файл «.dlc» (Deep Learning Container), необходимый для среды выполнения.
Инструмент преобразования выводит статистику преобразования, включая информацию о неподдерживаемых или неускоренных слоях.
Затем разработчик может соответствующим образом скорректировать дизайн исходной модели.

Snapdragon 835 производства FinFET, состоящий из восьми ядер, состоит из двух четырехъядерных процессорных ядер Kryo, похожих на Cortex-A73.
Высокопроизводительные ядра могут работать на частоте до 2,45 ГГц, когда работают в одиночку, и могут работать на частоте до 2,2 ГГц, когда работают со вторым набором из четырех ядер 1,9 ГГц с низким энергопотреблением Kryo.
Предполагается, что графический процессор SoC Adreno 540 обеспечивает графическую визуализацию на 25 процентов быстрее, чем Adreno 530.

Другие функции включают улучшенный процессор Hexagon 682, два 14-разрядных интернет-провайдера Spectra 180 и аудиокодек Qualcomm Aqstic.
SoC предлагает встроенную поддержку для Wi-Fi и -ad, Bluetooth 5.0, NFC и высокопроизводительного оборудования Cat16 с поддержкой восходящей линии связи X16 LTE.

Дальнейшая информация

SDK Snapdragon Neural Processing Engine (NPE) для Snapdragon 835 доступен для бесплатного скачивания.
Дополнительную информацию можно найти на странице продукта Qualcomm Snapdragon NPE .