Motion Capture на мобильном устройстве в реальном времени

Разработка серии инновационных продуктов в сферах AR/VR, Fashion&Design, HealthCare с использование разрабатываемого SDK. Первый прототип - продукт AR/VR, который представляет собой motion сapture технологию, позволяющую перевоплотиться пользователя в виртуального персонажа или примерить на себе костюм. (аналог MSQRD или Apple Animojis, только для всего тела, без использования специальных камер). В будущем планируем выпустить HealthCare продукт, который будет представлять собой сурдопереводчик для глухонемых, способный переводить язык жестов в аудио или текст в реальном времени.

Проект зародился на AI Hackathon Minsk 2017 и занял там 2ое место. Так же успел принять участие в конференции "Стартап Года 2017" и занял там так же призовое место. На текущий момент находится на этапе активной разработки и поиска инвестиций для preseed раунда.

По оценкам Goldman Sachs Group - крупнейшего инвестиционного банка, рынок AR/VR приложений возрастет до оценки в 11млрд. $ в игровой индустии и 5млрд$ в сфере медицины. Данные сферы наш проект и планирует занять.

Как упоминалось выше, клиент - молодое поколение, активные пользователи социальных сетей, а также игровые компании, использующие дорогостоющую технологию motion сapture для анимирования персонажей в играх.

Наш клиент - молодое поколение (14-30лет), блогеры, кино-любители, и просто пользователи социальных сетей так сильно полюбившее технологии смешанной/дополненной реальности, наложения масок и бьютификации. Наш проект дает совершенно новую возможность не только наслаждаться персонажами дополненной реальности, но стать самим ее частью, а так же накладывать маски и эффекты не только на лицо, но на все тело. Таким образом возможность использовать технологию motion capture, популярную в киноиндустрии и требующую дорогостоящего оборудования, всего лишь при помощи своего мобильного устройства.

Мобильное приложение работающее без использования внешней вычислительной мощи, способное в режиме реального времени восстанавливать 3D позы и движения принимаемые человеком, пропорции тела, и применять их для анимирования виртуальных персонажей, наложения эффектов, костюмов, масок, бьютификации. Так же, дающее возможность записывать видео и делиться ими в социальных сетях.

На данный момент существуют следующие решения проблемы Pose estimation и full-boy tracking:
1.Дорогостоющая технология motion capture в киноиндустрии.
2. HTC VR, Kinect и другие
3. TeslaSuit
Все эти решения требуют дорогого дополнительного оборудования, хотя и работают в 3D пространстве

Существует так же программное решение - OpenPose SDK, но требующее значительно вычислительно мощности, работающей только на персональных компьютерах, и осуществляющее эстимирование только в 2D пространстве.

Преимуществами нашего продукта являются :
1. Мобильность
2. Распознавание в 3D пространстве
3. Работа в Real Time режиме
4. Offline обработка - не нужна интернет связь, и использование серверных вычислительных можностей.

Расширение штата, в частности DataScience специалистов, а так же 3D-моделеров, оплата труда для членов команды, покупка оборудования для тренировки нейронных сетей.

Для первого этапа на нужно 150000$ на пол года, за что обещаем 7% своей компании

Технология является сложной, инновационной и до сих пор не исследованной, сложно иметь четкое представления, об инструментарии и наиболее оптимальных подходах в решении этой задачи.

Учавствовали в AI Hackathon Minsk 2017 и заняли там 2ое место.
Так же принимали участие в конференции "Стартап года 2017", где заняли 3е место.