Data Acquisition

Наша компания стала аккредитованным партнером Сбера в направлении искусственного интеллекта.

Что это значит? Коллеги из Сбера, с которыми мы ведем коммуникацию, занимаются развитием и внедрением СберГигаЧат (аналог ChatGPT), кстати, если вам нужно именно отечественное решение - то обращайтесь.

Нас коллеги готовы рекомендовать в задачах, связанных с нашим основным направлением - компьютерным зрением.

Как применяется AI в баскетболе?

Те, кто смотрят спортивные трансляции знают, что сейчас доступна детальная статистика по большому количеству игровых метрик. Все эти метрики, % владения мячом, например, можно расчитывать с помощью ИИ.

Один из проектов, реализованный нами с NBA, заключался в определении таких игровых элементов, как "заслон", по английски "screen". Если кто не в курсе, это когда один игрок из команды нападения не дает игроку в защите корпусом пройти к нападающему с мячем. Также было необходимо классифицировать данные заслоны на 12 поддипов.

В качестве данных у нас были координаты всех игроков и мяча, меняющиеся во времени. В части ML задача была достаточно сложная, и пробовали ее решать множеством подходов. Также отдельной проблемой была обработка потокового видео в real time.

В итоге получилась следующая архитектура. В multicast попадают данные раздаваемые с локальной машины или из shottracker. Далее данные отправляются в enrich и обрабатываются там добавляя дополнительный контекст, такой как идентификаторы игроков и состояние сеанса, затем данные отправляются обратно в multicast. В настройках проекта stargate происходит прослушивание различных портов multicast с помощью этого stargate может получать как “сырые” данные, так и те что были обработаны enrich. Данные из multicast принимает kafka и передает их внутрь контейнеров, в проекте поднятно 4 контейнера 3 из них это kafka, kafka manager и zookeeper, они отвечают за дальнейшую передачу данных контейнеру shottracker. Внутри контейнера shottracker как раз и происходит вся дальнейшая обработка данных и подключение различных моделей нейронных сетей которые на основе полученных данных делают предсказания и передают эти данные в UDP Stream, который в свою очередь отправляет их из контейнера наружу в udp processor. Udp processor вызывает плагины, только те что указаны в plugins.json и обрабатывает данные с помощью этих плагинов для дальнейшей отправки на сервер multicast или в influx, также плагины осуществляют логирование данных.

Сейчас реализуем проект по определению мин с коптера через машинное обучение.

Суть проекта в интерпретации данных, полученных с георадара (GPR), расположенного на коптере.

Если говорить простыми словами, то GPR данные позволяют увидеть задержку отраженного сигнала от земли в зависимости от координаты. Это дает возможность при правильной интерпретации данных (которая как раз происходит с помощью обученной ML модели) получить информацию о координатах мин, их типу и глубине их залегания.

ПО позволяет оператору дрона загружать маршрутную карту облета, а саперу получать информацию об обнаруженных минах.

Как обещал, рассказываю более подробно про софт для геологов, который мы разработали для ИГТ-Групп.

В чем вообще изначально была проблема: при бурении породы извлекаются ее образцы (керновый материал), который используется для анализа глубинного строения земной коры и решения геолого-промысловых задач поиска и разведки полезных ископаемых.

Каждый ящик с керном фотографируется и обрабатывается потом геологами вручную, то есть человек смотрит на фотографию ящика с керном и "на глаз" определяет состав керна на наличие жил, прожилок, разрушенного керна, цельной породы и других характеристик. Ручная обработка фотографий естественно занимает много времени, что значительно усложняет процесс расчетов. Кроме того, в расчетах присутствуют ошибки, обусловленные «человеческим фактором». Стояла задача автоматизировать процесс обработки фотографий через машинное зрение.

Что было сделано нашей командой? Решение было в обучении нейронной сети на примерах размеченных фотографий ящиков с керном. Нами была произведена разметка датасета (несколько тысяч фотографий) и обучение нейронной сети на автоматическое определение жильного материала, вмещающей породы, трещин, литотипов, цельного и разрушенного керна.

Далее был создан интерфейс позволяющий оператору при необходимости самостоятельно (без привлечения разработчиков) размечать объекты на изображениях керна, редактировать полученную разметку в ходе работы моделей и запускать процесс обновления построения геологической колонки. Собственно построение геологической колонки - это и есть финальная цель данного ПО. Кстати, наименование скважины и глубина извлечения, которые указываются на коробке с керном также определяются через машинное зрение что и позволяет автоматически строить геологическую колонку.

Спроектированный web-интерфейс включает в себя главное меню системы с возможностью выбора проекта, модуль итогов классификации керна со встроенным редактором полученных масок, редактор глубин кернового материала и интерфейс визуализации геологической колонки.

Как итог можно констатировать, что данный софт в десятки раз сокращает время на обработку фото с керном и определяет параметры более точно, нежели "человеческий персонал" :) Все это опять же со слов заказчика, есть пруфы в виде замеров точности.

По ссылке можно посмотреть краткий обзор интерфейса https://youtu.be/QUr7yxQfntY?si=DTuyp7Vdh_b627AM

Data Acquisition Geological Software

Начинаем работать с компанией Добрые Печеньки (печеньки на фото).

Ребята красавцы - за несколько лет подняли ярдовый бизнес, делают и продают печенья в крупные сети РФ и другие страны (даже Монголия и Иран!).

Производство очень технологичное, что будем им делать через машинное зрение:

- контроль эффективности ручной лепки печений (с подсчетом количества печений по каждому сотруднику и % соответствия эталону)

- анализ эффективности палетирования / погрузки / разгрузки

- подсчет выхода и качества продукции на автоматических линиях производства печенья

Машинное зрение на примере работы с геологами из ИГТ-Групп.

Уютный офис ИГТ-Групп располагается на территории МГУ, в тихом спокойном месте, но большую часть времени коллеги проводят на геологоразведочных работах в самых разных точках земного шара от Архангельской области до Чукотки, Австралии и Перу.

Коллеги из ИГТ уже имели свое видение того, как машинное зрение и искусственный интеллект могут облегчить им работу, поэтому мы сразу перешли к разработке соответствующего ПО. Важным моментом была передача прав на ПО для получение патента и регистрации программы в едином Реестре Российского ПО. Мы возражений не имели, так как обычно так и работаем - все что разработали - это интеллектуальная собственность заказчика.

Долго писать лень, поэтому буду писать порциями - в следующем посте раскрою более подробно суть ПО для анализа добытого кернового материала через машинное зрение. Вот тут коллеги как раз рассказывают на конференции про эту программу https://youtu.be/RB69SCtHRnsb

Нейросетевая видеоаналитика, насколько она сейчас популярна?

На самом деле видеоаналитику используют на производствах уже много лет, есть специальные смарт камеры, которые решают типовые задачи на производстве и на складах (контроль нанесения маркировки, уровень долива в бутылках, типовой брак, подсчет и определение габаритов грузов, учет автомобилей на парковке итд). Внедрение данных решений на производстве обычно не требует от интегратора каких-либо глубоких навыков в машинном обучении и ИИ, так как все расчеты и настройки уже "вшиты" в софт вендора смарт-камер.

Сейчас уже мы видим новую волну внедрения видеоаналитики, так как появляются возможности решать не только типовые узкие задачи, а решать практически любые задачи контроля, автоматизации и исключения человеческого фактора.

Образно говоря, вы можете полностью контролировать все процессы на производстве (это может быть тяжелое машиностроение, добыча нефти или скручивание роллов:)). Можно по камерам определять объем вышедшего шлама при бурении, определять литологические свойства добытого керна, качество скрученных роллов и производительность тех, кто эти роллы готовит.

Мы в Data Acquisition как раз специализируемся на внедрении ИИ в любые процессы и можем подтвердить, что внедрение нейросетевой видеоаналитики (как и аудиоаналитики) становится обязательным условием конкурентности на рынке.