다른 곳에 활동하며 쓴 글입니다. 요즘 부캐 만드는 중입니다. ㅎㅎ
-------
안녕하세요. 복고풍 레트로 개발자 장복고입니다. (부캐 만들고 유튜브 준비중 ㅎㅎㅎ)
개인적으로는 하복의 엔진이 떠올라서 비전이라는 단어를 싫어하지만 애플의 비전이 나오면서 AR이 핫해질 것으로 예상됩니다.
그래서 쓸만한 바디 트래킹 도구를 찾아봤습니다.
우선 환경은 유니티로 제한하고 테스트 기기는 PC와 삼성 a30으로 진행했습니다.
물론 유니티의 경우 AR파운데이션으로 했는데 5에서는 ARCORE 바디트래킹이 안됩니다.
ARKIT의 경우도 아이폰7처럼 구형은 안됩니다.
미디어파이프는 구글에서 제공한 AI기반의 비전 특화된 기술입니다. 자세한 건 역시 페이지로 이동해야 겠죠.
An open source, cross-platform, customizable ML solution for live and streaming media.
developers.google.com
물론 그냥 봐도 됩니다. 내부는 유니티에서 쓰기 위한 onnx 파일도 있습니다. sentis와 호환 가능하지만 추천하지 않습니다.
그냥 깃에 올린 걸로 쓰세요.
Unity plugin to run MediaPipe. Contribute to homuler/MediaPipeUnityPlugin development by creating an account on GitHub.
github.com
믿음이 가는 애니 프사입니다.
잘 잡히죠? 사실 문제는 좀 있습니다.
다만 속도와 성능인데 opencv로 구현하면 매우 느립니다.
유니티 opencv의 경우 dnn통해서 gpu가속을 통해 비슷한 기전으로 작동하지만 실제 gpu가속 여부는 확인하기 어렵습니다.
일반 RGB카메라에서 AI를 통해 얻어진 부분이라 당연하게도 depth 정보 없이 취득된 신뢰는 조금 부족합니다.
그래도 성능을 비교하면 opencv보다 mediapipe가 1.5배정도 빠른 상태입니다.
그리고 mediapipe의 장점 중 하나는 핸드 트래킹이 잘된다는 점도 있죠.
단점은 얼굴이 없으면 바보가 된다는 것이...죠.
암튼 여러모로 쓸만한 기술들이 늘어나고 있습니다.
환경도 애플 비전 덕분에 시장이 활성화 될거란 기대도 있고 말이죠.
일체형 디바이스의 등장은 결국 새로운 디바이스로 시장이 재편될 것이라는 기대도 같이 주고 있습니다.
비록 비전이 아이팟은 아니지만 맥킨토시의 시작과 비슷하게 보이기도 하고 말입니다.
결론적으로 a30에서 해상도만 최적화하면 8~10프레임을 내어줍니다. opencv는 4~5프레임입니다.
대 XR이든 MR이든 AR시대를 기대하면서 새로운 세계의 등장을 기대해봅니다.
'Game Programming' 카테고리의 다른 글
| Terrain decal 활용 (0) | 2024.04.06 |
|---|---|
| 터치 낚시 update 일지 (0) | 2024.02.14 |
| Police Act 제작 (0) | 2024.01.19 |
| Media Pipe와 ARKit (0) | 2024.01.15 |
| 드래고 메이든 UE (0) | 2024.01.07 |
