Международный облачный провайдер и системный интегратор ITGLOBAL.COM (входит в корпорацию ITG), подтвердил эффективность TPU-ускорителей SOPHGO SC7 HP75 в качестве альтернативы решениям NVIDIA для задач искусственного интеллекта и компьютерного зрения. В ходе тестирования TPU-ускоритель обработал 30-секундное видео на 20% быстрее сервера на базе GPU при сопоставимой точности распознавания объектов.
Методика тестирования
ITGLOBAL.COM провел комплексное тестирование TPU-ускорителя SOPHGO SC7 HP75 в сравнении с профилем vGPU 16GB на базе NVIDIA A16 с использованием модели YOLOv5s. TPU-ускоритель завершил обработку 30-секундного видео за 6,2 секунды, тогда как GPU-решению потребовалось 7,8 секунды. При этом разница в точности детекции объектов составила менее 0,04%.
Результаты демонстрируют способность TPU эффективно справляться с задачами инференса в реальном времени, особенно в сценариях, связанных с обработкой видеопотоков и компьютерным зрением.
Дополнительное тестирование с использованием Whisper Medium на двух устройствах SOPHGO SC7+ (6 TPU) показало ощутимые результаты в обработке аудио. Система обработала 12 аудиофайлов продолжительностью 883 секунды каждый (общий объем 10 596 секунд) за 1 326 секунд, обеспечивая скорость 7,99 секунды аудио на секунду реального времени при среднем времени обработки одного запроса 661 секунда.
Производительность и стоимость
«Результаты тестирования подтверждают, что TPU-ускорители SOPHGO могут служить эффективной альтернативой традиционным GPU-решениям, предлагая сопоставимую или более высокую производительность в специфических задачах ИИ при более низкой стоимости. Это особенно важно для компаний, стремящихся оптимизировать затраты на ИИ-инфраструктуру при сохранении высоких стандартов производительности», – пояснил Евгений Свидерский, директор облачного бизнеса ITGLOBAL.COM, корпорация ITG.
TPU-ускоритель SC7 HP75 построен на основе 24-ядерного процессора ARM Cortex-A53, разработанный для выполнения задач глубокого обучения и анализа данных, особенно в сфере видеоструктурирования и аналитики.
