MoCapStudio - инструмент захвата движений

АКТУАЛЬНО
Для игр порой необходимы анимации которых нет в асстах, а создавать свою долго и муторно. Нанимать команду которая отснимет материал и перенесёт в bvh стоит дорого. Костюм захвата движений тоже не дешёвый вариант.

Что делать когда свою анимацию сделать хочется, чтобы было минимум мороки и максимум эффекта.
Вот что мне пришло в голову когда начинался проект.

Набираю открыто тестеров для продукта. 10 команд или инди разработчиков или соло юнитов кому может пригодиться такой продукт. Для тестеров продукт будет бесплатен навсегда. Продукт для коммерческого использования. Цен пока нет.

Мокап будет доступен для камер:
- RealSense с модулями глубины.
- Xbox kinect v1 и v2
- Простая веб камера
- Apple продукция с лидаром и камерой глубины
Качество напрямую зависит от камеры.

Функции на которые целюсь:
- захват одного актёра
- парный захват актёров
- редактирование уже отснятой сцены
- добавление на сцену предпросмотра FBX объектов для позиционирования.
- экспорт в Unity, Unreal, ?Godot? нативный формат анимации для blender.

ВК видео если ютуб не грузит

Если Вы готовы стать участником тестирования и помочь развивать продукт своими идеями пишите в ПМ как с Вами связаться.

Если в заголовке начала темы стоит НЕ АКТУАЛЬНО значит команды набраны.
До выдачи публичной версии осталось чуть-чуть, думаю на неделе смогу выдать пробные версии, сейчас занимаюсь доработкой привязки чтобы даже на этапе тестирования не ушёл весь мой труд в открытый доступ.

какое API используется для распознавания положения и движения тела? вот само API бы пригодилось под C++, под PC, чтобы с минимумом мороки - подключил и используй.

leonardo98
API у каждого свои. Для Kinect и Intel RealSense компания Microsoft выпустила SDK
Для Apple свой SDK
Для вебкамер используется машинное зрение с onnx моделью.

Всё это в единую оболочку завёрнуто.
Для парных камер если к примеру несколько камер расположить будет свой механизм использоваться но открытого API.
ML для меша и правильного положения скелета тоже всё открыто.

Без мороки будет когда доделаю трансляцию прямую в движок.
Вы снимаете и прямо в Unity или Unreal персонаж повторяет действия на сцене.

Предпросмотр всегда дёрганный, готовый плайн после записи чистит шумы автоматически, пока методом вытеснения, если в кадре кость "скакнула"  по оси больше чем от 2% до 60% - помечается как шум и нивелирует позицию между тиком кадра (настройка редактора)

Вот для таких моментов тестеры и нужны

anomal3
> API у каждого свои. Для Kinect и Intel RealSense компания Microsoft выпустила SDK
> Для Apple свой SDK

Вопрос, кажись, был именно про api самого продукта, а не какие и как либы он там внутри использует.

А мне вот интересно было бы почитать в сравнении, какие вообще фичи будут, каких нет в уже готовых профессиональных решениях. К примеру, в том же совершенно бесплатном MediaPipe от гугела. И качество не только же от камеры зависит, а во многом от скилов нейронки, тем более если юзается просто камера. К нубуку можно и норм камеру подключить, да даже ту же мобилу, а нейрока вот, только облако, локальные пока довольно глуповаты для этого дела (по срезу обычных пользовательских нубуков и пк) 🤔

leonardo98
> чтобы с минимумом мороки

Сегодня, думаю, если нет возможности купить нормальные приблуды для этого дела и норм ПО заюзать, то вариант только блендер и вручную анимировать. Было тут искал читал в этом плане что бы изи вариант тупо с камеры и по минимуму, и вот именно он пока довольно геморный, где любая мелочь, к примеру та же лампочка освещения в косом месте, может в "занимательный" квест превратиться. И ведь в итоге все равно все допиливать придется в редакторе.

IPcorp
> Вопрос, кажись, был именно про api самого продукта, а не какие и как либы он там внутри использует.
Как я понимаю что такое API для ПО - это набор инструкций которое может выполнить программа через "запрос". Я лишь дал развёрнутый ответ. Обернуть все SDK в API вызовы и отдавать их "голыми" нету смысла, можно от издателя взять SDK нужные либы и делать вызовы, я для этого не нужен.

IPcorp
> совершенно бесплатном MediaPipe от гугела
Все проблемы таких "распозновалок" рушатся когда на камере ты поворачиваешься спиной.
ИИ не умеет просто определять когда ты развернулся спиной и руки у тебя у груди, он дорисует что руки перед камерой, с двумя и более камерами к сожалению не работает.

Я делаю иной подход, когда 2 и более камер смотрят за актёром и понимают в каком положении он находится и в какой ротации и строят скелет и его положение относительно места съёмки.

Если заложить примерно такую схему расставить простые web камеры, то позиционирования и ротации актёра можно достичь с точностью до 99% ( по моим скромным прикидкам )

IPcorp
> если нет возможности купить нормальные приблуды для этого дела и норм ПО заюзать
Я уже интегрировал яблочные устройства Pro версии которые имеют LiDAR.
Так же яблочные устройства с 10 версии имеют фронтальную камеру глубины для FaceID, которая до 4м может спокойно делать захват и даже Pro версия не нужна.

Самая проблемная часть на мой взгляд это ML модель для риггинга, но до этого надо ещё дойти.

anomal3
> Как я понимаю что такое API для ПО - это набор инструкций которое может выполнить программа через "запрос". Я лишь дал развёрнутый ответ. Обернуть все SDK в API вызовы и отдавать их "голыми" нету смысла, можно от издателя взять SDK нужные либы и делать вызовы, я для этого не нужен.

Понимание, по ходу, лишь на половину. Обычно прогеры понимают как должно оно пониматься, если, конечно, ты не очередной вайбкодер 😏 Вопрос был об api именно твоего продукта. Если на пальцах, то вот, к примеру, пользователь делает запрос к твоей программе на получение положения костей в пространстве, при этом ему не важно, что там твоя программа внутри юзает и сколько sdk в нее впилено, и даже может быть не важно, что подключено, камеры, костюм, или видос читает, программа чекает доступность этих данных, выбирает и юзает нужный ей sdk, и просто отдает объект пользователю с координатам костей в пространстве. В чем профит: ты можешь потом сколько угодно и что угодно менять в самой программе, добавлять новые sdk, обновлять их, удалять, переписывать логику и так далее, но пока контракт запроса от пользователя к программе сохраняется, у него никогда ничего не поломается при дальнейших обновлениях и ему не нужно самому юзать все эти sdk и, что тоже важно, даже разбираться в этой кухне как оно там внутри работает. Он просто пишет на плюсах, или еще на чем, да даже с блендера можно на пайтоне такой api юзать и обновлять персонажа в реальном времени. Можно даже ничего не экспортировать из программы, что бы потом юзать в глюнити, анриале, годохле или еще чем, api отовсюду будет доступно. Хотя экспорт точно не помешает для юзеров, которые в коде дерево.

anomal3
> > совершенно бесплатном MediaPipe от гугела
> Все проблемы таких "распозновалок" рушатся когда на камере ты поворачиваешься спиной.
> ИИ не умеет просто определять когда ты развернулся спиной и руки у тебя у груди, он дорисует что руки перед камерой, с двумя и более камерами к сожалению не работает.

Вот в этом контексте я как раз и говорил о скилах самой нейронки. Вот сча сходил почитать, что там в MediaPipe юзается, оказалось, что там не одна, а целый конвейер нейронок. Но затык в том, что все они капец легковесные и хилые, хоть гугел там и заоптимизировал их именно конкретно под это дело. Весят кило или метры, параметров сотни к или лямы, никаких лярдов и близко нет, все для того, что бы можно было запускать прям на телефоне, или в браузере даже. Потом сходил для сравнения почитал тот же DeepMotion. Тоже ковейер нейронок, но вот там уже в облаке прям звери сидят, можно вообще модель закинуть и одними промптами ее анимировать без всякх оклюзий и доп фильтрации. Даже физика юзается для скелета, рекурентные нейронки, пространственно временные и хз еще какие. Там вроде даже вообще можно тупо по фотке слепить модель, и далее ее промптами санимировать и все это дело потом в игру закинуть, при этом, к примеру, если запромптить сальто, то благодаря той же физике нейронка сама его сделает у модели максимально реалистичным. Как там че, правда, на самом деле, вот тут я хз, не тестил, кто в теме, может здесь отпишет чего да как, а то тема довольно интересная, но видя, как сча вон на нейронках в одно лицо чуваки фильмы пишут и музыку (ютуб не даст соврать), думаю задачи выше ей вполне под силу на довольно норм уровне.

IPcorp
> Вопрос был об api именно твоего продукта
Я видимо отстал и не понимаю API для ПО настольного. Для Web всё понятно, и не понимаю как выдать API для c++ или питона если я пишу на c#, есть конечно не безопасный код, но отдавать отдельно библиотеку, смысл тогда от ПО. Отдельно библиотеку не могу выдать, зависимости другие тянут, проект большой внутренних зависимостей много, а паковать типа энигмы не будет. А типа

c:/program/mocap.exe -start 

то это параметры запуска. Я же объяснил что SDK выдают API (наборы инструкций) а я делаю обвязку из нескольких технологий.

Я пока не использую ML, это следующий шаг. Я  занят матчингом кадров с нескольких камер.