Demosaicing(디모자이킹)이란? RAW 데이터를 컬러 이미지로 변환하는 과정

디모자이킹 기본 개념

이번 글에서는
Demosaicing 에 대하여
살펴보겠습니다.


디모자이킹 기법은
우리가 촬영하여 얻은 Raw 이미지를
1 픽셀에 (R,G,B) 가 들어있는
우리가 알고있는 이미지로
만들어주는 작업을 말합니다. ​

ISP 파이프라인 1

우리가 카메라를 이용하여
이미지를 촬영하면

CCD/CMOS 이미지 센서를
통하여 각 픽셀에

하나의 값 (Intensity) 만
기록되게 됩니다.





왜 디모자이킹이 필요한가?

디모자이킹 2

즉, Bayer filter 모양 그대로
RGGB 패턴의 채널 1개의
값만 가지고 있습니다. ​

우리가 알고 있는 이미지는
1 픽셀에 3개의 채널 값이
들어있습니다. ​

따라서
내 위치의 Color filter 색상을 제외한
다른 2 채널의 값은
주변에서 가져와서
보간하게 됩니다.






단순 보간의 문제점

demosaicing 3

내 위치 주변의 값
2개나 4개를 가져와서
평균을 기록하는 방법과
같은 매우 단순한 보간을
사용하게 되면

이미지가 그림과 같이
부자연스러워 집니다.

demosaicing 4

원래 울타리는
오로지 흰색인데

RAW 이미지에
쉬운 보간을 했더니

이미지가 망가진 것을
볼 수 있습니다.









현대 디모자이킹 방법

demosaicing 5

그래서 실제로는
디모자이킹을 할 때,

추가적인 작업들을
같이 하기도 하고
​ 신경망을 이용하여

해당 픽셀의 빈 채널들의
값을 구하는

매우 복잡한 방법을
사용하기도 합니다.

그런 건 난 잘 모르겠고,
디모자이킹은 1픽셀당 1채널 값만
기록된 RAW 데이터를 보간하여
우리가 아는 3채널 값이 저장된
이미지로 만드는 과정







참고자료

references 1

Leave a Comment