Photo Hull 이란? 실루엣과 컬러로 만드는 더 정밀한 3D 복원

Visual Hull vs Photo Hull

이전 글에서는
Multiview Stereo 에서
Silhouettes 을 이용하여
Visual hull 을 복원하는 방법
에 대하여 살펴봤었습니다. ​

이번 글에서는
실루엣 + 이미지의 칼라까지
이용하여 복원하는 방법
Photo hull
을 살펴보겠습니다.

1 voxel coloring

Visual hull 보다는
더 섬세하게 하지만
여전히 진짜 Object 는 아닌
중간 수준까지
복원할 수 있습니다.

Photo Hull의 복원 원리

2 2

TOP – view 에서 봤을 때,
물체는 사각형으로 생겼습니다.

​ Visual hull 은 실루엣만 보므로
칼라가 의미가 없습니다. ​

반면, Photo hull 은 칼라를 보기 때문에
복원된 칼라를 맞추기 위해
추가적으로 조각을 진행할 수 있기
때문에 더 정밀해 집니다. ​

(여기서 볼 때는 빨간색, 저기서 볼 때는 파란색…)

구현이 훨씬 어렵고,
어차피 3D 객체 복원은 불가능
하기 때문에 잘 쓰이지 않았었는데

요즘 NeRF 같은 분야에서
활발히 다시 연구되고 있습니다.

3 3

성능을 보시면 상당히 괜찮습니다.

4 5

이렇게 Multiview stereo 를 이용하여
조각하듯이 3D 복원을 하는
방법들을 알아봤습니다. ​

기존의 대응점을 찾고 복
원하는 방식이 아니라,

​ 공간을 먼저 정의하고
깍아나가는 방식이기 때문에
주로 객체에만 사용합니다. ​


항목설명
Photo Hull실루엣 + 이미지 색상 정보를 이용한 3D 복원 기법
입력 데이터여러 시점의 실루엣과 컬러 이미지
복원 방식색상 일치 여부를 기준으로 3D 볼륨을 조각
결과 정확도Visual Hull보다 정밀하지만 실제 객체 재현은 아님
활용 사례NeRF, 고정밀 3D 스캐닝, VFX 프리비주얼라이제이션
한계계산 복잡도 높고 컬러 정합 어려움



​ 그런 건 난 잘 모르겠고,
Photo Hull 은
실루엣과 색상 정보를
함께 이용해 3D 객체 외형을
더 정밀하게 복원하는 기법







참고자료

Slide credit : Shree Nayar

First Principles of Computer Vision

First Principles of Computer Vision is a lecture series presented by Shree Nayar who is faculty in the Computer Science Department, School of Engineering and Applied Sciences, Columbia University. Computer Vision is the enterprise of building machines that “see.” This series focuses on the physical …

www.youtube.com

https://www.cs.utexas.edu/~huangqx/2018_CS395_Lecture_14.pdf

https://courses.cs.washington.edu/courses/cse455/10wi/lectures

https://carlos-hernandez.org/papers/fnt_mvs_2015.pdf

댓글 남기기