Новый ИИ научили понимать тепловые изображения вместо простого поиска горячих объектов

Китайская компания Raytron представила специализированную модель искусственного интеллекта, способную анализировать инфракрасные изображения и связывать увиденные тепловые структуры с их возможным значением. Система предназначена для обнаружения утечек газа, проверки электрооборудования, ночного наблюдения и охраны территорий. Для обучения использовали более пяти миллионов собственных мультимодальных образцов инфракрасных данных.

Новую систему представили на выставке CIOE 2026 в Шэньчжэне. Она относится к классу визуально-языковых моделей — систем, которые анализируют изображения и могут связывать содержащуюся в них информацию с текстовыми понятиями и описаниями. В отличие от большинства подобных моделей, обученных главным образом на обычных фотографиях, разработка Raytron ориентирована непосредственно на инфракрасные данные.

Тепловизор регистрирует не отражённый видимый свет, а инфракрасное излучение объектов. Поэтому на изображении можно увидеть распределение температуры, зоны нагрева и другие тепловые особенности, которые отсутствуют на обычной фотографии. Универсальные модели компьютерного зрения не всегда способны правильно интерпретировать такие данные без дополнительного специализированного обучения.

Raytron разработала для своей модели отдельный инфракрасный визуальный кодировщик, предназначенный для выделения распределения температуры и особенностей инфракрасного сигнала. Обучающий набор охватывает промышленное измерение температуры, ночное наблюдение, поиск утечек газа, контроль электрооборудования и наблюдение за охраняемыми территориями.

Для обнаружения газов модель обучалась на данных по метану, диоксиду серы, этанолу, хладагентам R-134a и R-152a, а также гексафториду серы. При анализе учитываются форма газового облака, его распространение и фоновые помехи, что должно помогать системе выделять вероятные места утечки на инфракрасных изображениях.

Такой подход позволяет перейти от простого обнаружения горячей или холодной области к автоматическому анализу наблюдаемой сцены. Например, система потенциально может не только зарегистрировать необычное распределение температуры на электрооборудовании, но и выделить его как возможную неисправность, которую необходимо проверить.

Модель рассчитана и на работу непосредственно в камерах и других устройствах без постоянной передачи данных в облачный центр обработки. Raytron заявляет поддержку аппаратного ускорения на периферийных вычислительных процессорах. Локальная обработка уменьшает задержку и позволяет сократить объём данных, передаваемых за пределы устройства.

Одновременно компания представила процессор Falcon 500 — третье поколение специализированных микросхем Raytron для обработки инфракрасных изображений с искусственным интеллектом. Чип объединяет обработку изображения, интеллектуальный анализ, работу с несколькими типами данных и точное измерение температуры.

Инфракрасные детекторы имеют особенности, которых нет у обычных камер. Их сигнал может изменяться из-за нагрева самого сенсора, а отдельные элементы матрицы способны реагировать на одинаковое излучение немного по-разному. Поэтому перед анализом требуется коррекция неоднородности, подавление шума и восстановление изображения. Falcon 500 предназначен для выполнения этих операций и последующего запуска алгоритмов ИИ на одном аппаратном комплексе.

На CIOE компания также показала инфракрасные детекторы с размером пикселя 8 микрометров и разрешением от 640 × 512 до 1280 × 1024 точек. Для обновлённых 12-микрометровых детекторов заявлена температурная чувствительность до 15 милликельвинов, позволяющая различать небольшие перепады температуры.

Raytron пока не опубликовала рецензируемое исследование с независимым сравнением новой визуально-языковой модели с другими системами. Также не раскрыты её размер, архитектура, результаты стандартных тестов и точность работы в отдельных сценариях. Представленные характеристики основаны на данных самой компании.