Щодо розробки автонаведення для FPV дронів

UPD: вийшло на зв’язок досить багато людей включно з представниками влади, зараз спробуємо пропрацювати бюрократичні питання. Дякую всім за небайдужість!

—-

Цитую орігінал від Сергія Флеша:

Первый раз своими глазами увидел перехваченное видео с российского FPV с машинным зрением и автозахватом цели. Более того в режиме тепловизора.
Пока все сырое, но уже на фронте.
Мои друзья с Минцифры давайте ускоряться с нашими решениями. У нас десятки команд трудятся по этой теме, им бы помочь.
Для тех, кто не в курсе. Пилот долетает до цели и сверху с ее обозначает, далее дрон все делает сам.
Что меняется:
1. РЭБ купола бесполезны
2. Опытные пилоты не нужны
3. Потеря картинки у земли не страшна( дальность полета с земли вырастает в 2 раза)
4. Цель в движении поражается точнее
Меня это все очень беспокоит. Вы же понимаете роль FPV в войне.”

Ffffffffffffuuuu…. розкажу трохи як це працює. От у мене є команда з Computer Vision що працює по Miltech напрямку я вважаю що або кращі або в топі кращих в Україні та світі.

Ми темою обробки відео з дронів займаємося вже декілька років, а конкретно під задачі отримані конкретно нам від ЗСУ працювали особливо інтенсивно з весни 2023 та продовжуємо роботу.

Нажаль, дуже багато дятлів забивають ефір “ми теж, ми теж, давайте обговоримо”, тому потрібно повторювати, ми не якісь студенти КПI що пишуть на Python, ми не просто Computer Vision, ми навіть не просто команда інженерів чи IT компанія. Ми вміємо вирішувати задачі повністю з нуля до 100% продакшен (TRL 9). Ми щось типу безкоштовного (для ЗСУ) домашнього міні-Palantir на стероїдах. Бізнес аналітика / консалтинг, ML + CV engineering, web/ios/android frontend, NVidia hardware, embedded, 0mq, MQTT, WebRTC, scalable ML Ops infrastructure, робимо свої камери тощо.

З досвіду скажу, що звичайно технічно дуже багато нюансів які ви не уявляєте, без досвіду та ефективної вмотивованої команди діла не буде, більшість розробок не доводяться до production ready. Але навіть коли технічно все вирішили, довели до production – ready, це я б сказав тільки 20%. В 4-5 разів важче, навіть якщо надаєш все безкоштовно, це потім пробитися щоб твоє рішення реально почали використовувати якщо ти хочеш щоб воно допомагало на масштабі. На рівні особистих контактів підрозділу, в/ч, щось кустарно/ініціативно у вільний час то без проблем. На загальновійськовому рівні – майже неможливо.

Ми дуже інтенсивно працювали над рішенням для детекту піхоти з Мавіків на протязі 6 місяців і довели його до продакшену у вересні 2023. Передали. Досі воно не використовується. Там іде процес, але повільно. Зараз нові люди підключилися, є надія що піде швидше, але знов скажу – найважче не технічні бар’єри, а організаційно-бюрократичні, політична воля тощо – я не знаю поки що як це вирішувати.

Щодо FPV розкажу також з досвіду, у 2022 та 2023 час від часу були розмови. Вони приблизно такі.

– О, ви ж AI / Computer Vision, а можете для FPV також зробити?

– Ми зараз більше на “вид зверху” спецалізуємось, але FPV також без проблем, можемо

– Круто, скільки це буде коштувати?

– Якщо ви ЗСУ, то безкоштовно

Думають.. Буває що безкоштовно не цікаво, або кажуть “круто” та пропадають.

Далі якщо продовження, то:

– Ну що, зможете зробити?

– Так, можемо, якщо воно буде на NVidia Jetson Nano (собівартість $200-$300) працювати, вас влаштує?

Тут ще частина відвалює, частина каже що хоче на Raspberry Pi або щось китайське micro CPU за $10.

Ми кажемо, що можемо зараз для Nvidia зробити за 2 місяці, а потім ще за 2 місяці можна оптимізувати зробити lightweight модель для RPi. Але ж не має бути проблемою витрачати плюс $300 на AI що підвищує ефективність та значно знижує відсоток FPV загублених через невдалі дії операторів.

Деякі люди це розуміють, кажуть дійсно ми порахували що краще FPV за $3,000 що влучає кожного разу ніж FPV за $500 з яких влучає 1 з 10.

Буває ще питають там щось типу а можете керувати pixhawk чи там xxx yyy прошивкою / ардупілотом, ROS ХЗ що там. Все щось своє ліплять, у всіх зоопарк харду та софту. Немає розуміння системного та модульного підходу. Що ми віддаємо внутрішньо потік метаданих через 0MQ / MQTT JSON потік, а автопілот це окремий модуль, йому від нас тільки коригування цілі потрібно.

Також майже всі гублятся на звичайному питанні датасетів.

– Давайте відео, зробимо вам робочу демку, нам потрібно хоча б пару відео з вашими типовими цілями

Відповіді можуть бути такі:

– (А) Аааа! (тікає)

– (Б) а ну візьміть там з телеграму, зараз немає

– (В) плюс, зараз спитаю хлопців щоб скинули (зникає)

Щодо виходу на масштаб та чи є в панів можливість нашу 100% робочу технологію передати на загальновійськове використання, а не тільки на масштабі 1-10 виробів, це особисто для мене головне болюче питання, я не розумію якщо ми можемо видавати технологію та якість якої в ворога не буде ще дуже довго, якої немає в НАТО, чому не можна взяти нас за руку та сказати – тепер робіть те саме на масштабі.

Українській miltech це просто жесть. Не тому що погані інженери, інженери в нас чудові. А тому що немає політичної волі поставити людей що вміють та хочуть на потрібні місця, немає держзамовлення, немає системної роботи зверху. Системною працею будь якої супер якості знизу, з позиції волонтера-виконавця це не вирішити.

Leave a comment

Your email address will not be published. Required fields are marked *