ISP란 무엇인가?
이번 글에서는
ISP(Image Signal Processor)
에 대하여 살펴보겠습니다.
ISP 란 센서에서 캡처한
원시 이미지 데이터를 처리하여
고품질의 디지털 이미지를
생성하는 역할을 합니다.
다양한 알고리즘과
처리 단계를 포함하며,
결과적으로 사용자에게
시각적으로 만족스러운
이미지를 제공하기 위해
최적화됩니다.
카메라 제조사마다 다른 ISP
카메라를 만드는 회사마다
모두 다른 ISP 를
가지고 있기 때문에
우리가 얻는 최종 결과물이
똑같은 장면을 찍어도
차이가 발생하게 됩니다.
ISP에서 실행되는 주요 처리 과정
대략적인 ISP 파이프라인은
깔끔한 RAW 이미지를
얻기 위해 진행하는
RAW image processing
우리가 알고 있는
1픽셀에 (R,G,B) 값을
갖는 이미지로
만들기 위한 디모자이킹
노이즈를 줄여 좋은 품질의
이미지를 얻기 위한 Noise Reduction
이미지 색상과 밝기를
조절하는 Color mapping
시각적 효과를 향상시키기 위한
Color manipulation
디스플레이의 특성을 보정해주는
Gamma correction
이미지의 품질은 최대한 유지하고,
크기는 줄여주는 Compression
ISP 과정은 회사마다
카메라마다 다를 수 있으며,
다양한 과정이 추가되거나
없을 수 있습니다.
위 파이프라인은 가장 보편적인 과정입니다.
| 단계 | 처리 내용 | 관련 기술 |
|---|---|---|
| 1. RAW Processing | 센서 노이즈 및 결함 보정 | Black Level, Defective Pixel, Flat Field |
| 2. Demosaicing | Bayer 패턴 → RGB 변환 | Demosaicing |
| 3. Denoising | 노이즈 제거 | Gaussian/Median Filter, Neural Denoising |
| 4. Deblurring | 블러 복원 | Deconvolution |
| 5. Color Mapping | 색상/밝기 보정 | White Balance, CST |
| 6. Tone Mapping | HDR → SDR 변환 | Tone Mapping |
| 7. Gamma Correction | 디스플레이 밝기 보정 | Gamma Curve 적용 |
| 8. Compression | 용량 최적화 저장 | JPEG Compression |
ISP 파이프라인 단계 예시
RAW 이미지와 ISP의 관계
우리가 카메라를 이용하여
촬영한 이미지들은 이미
ISP 과정을 모두 거친 이미지 입니다.
이 이미지를 이용하여
RAW 이미지를 얻기 위해서는
ISP 모든 과정과 식을
알아야 복원할 수 있는데,
ISP 는 모두 기업 비밀이므로
RAW 이미지로 되돌리는 것은
매우 매우 어렵습니다.
그런 건 난 잘 모르겠고,
ISP는 카메라 센서에서
얻은 RAW 데이터를
최적화된 이미지로 바꾸는 과정
참고자료
