Notice - 얄팍한 상식 수준에서 다루는 비전문적이고 깊이 없는 포스팅이므로 숨겨져 있을 오류와 논리적 비약, 수다쟁이의 헛된 망상에 주의가 필요하다.
디지털카메라의 이미지 센서에 대한 주제의 마지막은 롤링 셔터의 단점으로 칭해지는 젤로 효과 그리고 원인은 조금 다르지만, 종종 자주 언급되는 플리커에 대해서 연속해서 다룰 생각이었는데 꽤 늦어졌다. 수다에서 다룰 주요 내용은 뻔했지만, 이를 시각적으로 확인할 수 있는 예제나 샘플 이미지를 준비하고 싶어서 계속 미루고 있었다. 야외에서 빠르게 달리는 것을 대상으로 하고 싶었으나 역시 날씨는 추웠고 게으름을 이길 수 없었다. 실내에서 대충 만든 샘플 이미지로 수다를 시작해 보자.
▶ 젤로 효과의 원인
젤로 효과/현상(Jello effect)의 원인은 셔터 종류 중에서 롤링 셔터(Rolling shutter) 방식이 적용된 카메라에서 나타난다. 즉, 고속 셔터를 실현하기 위해서 렌즈를 통과한 빛이 맺히는 촬상 소자 상면(필름이나 이미지 센서면)을 한 번에 모두 노광 하는 것이 아니라 일정 축을 기준으로 한 줄씩 순차적으로 노광 시키는 셔터 방식(롤링 셔터)이 원인이다. 기계식 포컬 플레인 셔터에서는 선막과 후막 사이에 만들어지는 슬롯이 상하 또는 좌우로 움직이며 빛을 통과해서 촬상면 전체에 노광 하는 방법을 사용하고, 전자 셔터는 센서 면의 픽셀이 행의 구분으로 순차적으로 점멸하는 방식으로 작동한다.
따라서 롤링 셔터 방식이 사용되는 기계식 포컬 플레인 셔터나 전자 셔터 방식의 카메라에서 고속 셔터 스피드로 촬영할 때 촬상면의 위치에 따라 시차가 발생하고 고속으로 움직이거나 빠르게 진동하는 피사체는 상이 왜곡되어 결상된다. 젤로 효과에 의한 상의 왜곡은 피사체가 빠르게 움직일수록 그리고 셔터 스피드가 고속일 때 시각적으로 잘 드러난다. (저속의 셔터 스피드에서는 블러가 증가하여 흐릿하게 표현된다) 기계식 셔터라 하여도 조리개(광학계의 제2주점) 근처에 셔터가 있는 렌즈(센트럴) 셔터, 리프 셔터 방식 그리고 이미지 센서 중에서 글로벌 셔터 방식으로 작동하는 경우에는 젤로 현상이 발생하지 않는다.
기계식 초점면/포컬 플래인 셔터로 인해 발생하는 젤로 효과는 그 왜곡을 인지하기도 쉽지 않은데 피사체가 움직이는 속도 또는 카메라가 이동하는 속도가 아주 빨라야 하고 이를 고속 셔터(순간광 동조 최대 셔터 스피드를 초과하는 고속 셔터 스피드)로 촬영할 때에만 왜곡이 어느 정도 시각적으로 인식할 수 있는 정도가 된다.
스틸 이미지 카메라에서 젤로 셔터는 일종의 고속 셔터 구현 시에는 순간 포착의 블러 없는 선명하고 또렷한 이미지를 얻을 수 있으리라는 믿음에 반하는 왜곡으로 불만을 사 왔었고 고속으로 회전하는 선풍기나 비행기 프로펠러 등이 아니면 잘 체감하기 어려워서 그리 문제 되지는 않았다. 최근 젤로 효과에 대해 자주 언급되는 이유는 디지털카메라 즉, 필름 대신에 이미지 센서를 사용하는 카메라, 그중에서도 기계식 셔터 방식이 아닌 전자 셔터를 사용할 때, 그리고 전자 셔터 방식이 글로벌 셔터인 CCD는 제외하고 롤링 셔터 방식을 취하고 있는 CMOS에서 젤로 효과로 인한 상의 왜곡이 빈번하고 현저하게 나타나기 때문이다. 이는 전자 셔터의 장점인 무음 셔터 기능이나 동영상(비디오) 녹화 기능 등에 전자 셔터가 사용되고 이 기능을 이용하는 빈도가 높아진 탓이라 생각한다.
CMOS 이미지 센서에서도 글로벌 셔터 방식으로 작동하는 이미지 센서가 있다. 하지만, 이를 구현하기 위해 추가되는 부담, 이미지 센서의 각 픽셀마다 캐퍼시터(capacitor) 등이 추가되어야 해서 회로가 복잡해지고 제조 비용 또한 증가한다. 시네마 전문 카메라 등에는 글로벌 셔터 방식의 CMOS 이미지 센서가 장착된 카메라 (Sony f55 등)도 있다. 글로벌 셔터 방식의 CMOS 이미지 센서의 개발은 이미 완료된 상태이지만, 동화상 기능이 대폭 강화되고 즐겨 사용되므로 이후 시장의 수요 등에 따라 일반 소비자용 고급 카메라에도 머지않아 등장하지 않을까 싶다.
그렇다면 기계식 셔터도 롤링 셔터 방식이고 CMOS의 전자 셔터 또한 롤링 셔터 방식이라면 왜 CMOS의 전자 셔터 사용 시에만 젤로 효과가 더 빈번하고 현저하게 눈에 띄는 것일까?
이는 CMOS의 판독 속도(Readout) 때문이다. CMOS의 판독은 일반적으로 윗 행에서 아래 행으로 순차적으로 진행된다. (렌즈/광학계를 통과한 상은 도립상으로 결상되므로 카메라의 이미지 센서에서는 아래에서 위로 향하는 방향이 된다) 이미지 센서 상면 전체를 판독 속도는 정보의 양(해상력 등등)과 이미지 센서의 크기에 영향을 받는다. 따라서 해상도가 큰 이미지를 촬영하거나 상면이 넓은 중 대형의 이미지 센서는 상대적으로 더 느린 판독 속도를 보인다. 스캐너(Scanner)가 사진이나 문서를 일정 방향으로 순차적 스캔의 방식과 유사하다. 스캐너 또한 사진을 찍 듯이 한 번에 판독하는 방식으로 개발할 수 있겠지만, 소형화와 가격 대비 성능을 위해서 한 방향으로 축이 이동하며 스캐닝하는 방식을 적용하지 싶다.
CMOS의 각 픽셀은 판독이 종료되어야 노출이 종료되는 방식이므로, 데이터의 양이 동일(해상력 설정 및 동일한 프레임의 피사체 촬영 조건 등)하다면 셔터 스피드 설정과 상관없이 상면 전체를 판독하는 시간은 일정하다. 즉, 1/60의 셔터스피드로 촬영한 것이나 1/8000이나 이미지 센서의 판독 속도에는 동일하다. (전자 셔터 스피드는 픽셀의 on/off로 작동하므로 판독 속도에 동조하여 설정된 셔터 스피드에 맞추어 on/off 하는 방식이다) 따라서, CMOS 롤링 셔터 방식에서는 전자 셔터로 고속 셔터 스피드 설정으로 촬영한다고 하여도 각 행 간에는 미세한 판독 시차가 발생한다. 즉, 상 포착(노출 종료) 시점이 각 행마다 차이가 있다. 그리하여 프레임 내의 피사체가 빠르게 움직이거나 프레임이 움직이거나 진동하는 등의 원인으로 젤로 효과가 시각적으로 드러난다.
그렇다면 동일한 카메라에서 기계식 셔터를 사용하면 이미지 센서의 판독 속도는 변화가 없는데 젤로 효과가 억제되는 이유가 궁금할 수밖에 없겠다. 이는 아래 전자 선막 셔터에서도 잠시 언급하겠지만, CMOS 센서는 판독이 종료하여야 노출이 종료되므로 판독 속도에 맞추어 각 행의 픽셀이 설정된 셔터 스피드에 따라 그 시간만큼 on/off 하는 방식이고 따라서 고속 셔터 스피드를 선택하여도 이미지 센서 상면의 판독 속도에 의해 각 행의 촬영 정보가 포착되므로 판독 속도만큼 발생하는 시차에 따라 왜곡이 발생한다. 이런 문제를 해결하기 위해서 이미지 센서의 전체 픽셀은 동시에 켜지고 노광은 기계식 셔터의 선막과 후막이 만드는 슬롯에 따라 이루어지므로 느린 판독 속도에 따른 왜곡을 억제하지 싶다. 부연 설명하면 판독이 종료되기 전에 기계식 셔터로 빛이 촬상면에 계속 노광 되는 것을 차단해서 판독이 이루어지는 시점까지 과다 노출을 방지하는 방식이다.
기계식 셔터 또한 롤링 셔터 방식으로 작동하기 때문에 롤링셔터로 인한 젤로 효과가 완전히 없어지는 것이 아니다. 이미지 센서의 느린 판독 속도보다 상대적으로 더 빠르게 움직이는 기계식 롤링 셔터의 속도로 젤로 효과를 억제하는 방법이다. 기계식 셔터의 물리적 속도가 느리거나 기계식 셔터의 속도보다 더 빠르게 움직이는 물체를 촬영하면 젤로 효과는 여전히 나타난다.
▶ 젤로 효과의 양태
- 고속으로 이동하는 물체의 상 왜곡 또는 회전하는 물체의 상 왜곡
사진에서 가장 흔하고 대표적인 젤로 효과다. 고속으로 이동하는 물체뿐만 아니라 카메라를 빠르게 팬(pan)할 때, 또는 고속으로 이동하는 탈 것 등에서 스쳐 지나는 물체 등을 촬영할 때도 발생한다. Pannig shot 등에 전자 셔터를 사용할 경우 배경이 한쪽으로 기울어져 표현되기도 하고, 회전하는 선풍기 날개나 비행기의 프로펠러 이미지 등에서도 발생한다. 매우 고속으로 회전하는 물체의 경우 빠른 셔터 스피드로 촬영할 경우 기계식 셔터에서도 상의 왜곡이 발생한다.
- 상하로 진동하는 물체의 울렁임
차량에 부착된 카메라나 드론 등에 장착된 카메라의 진동 등으로 젤로 효과에 의해 상하의 왜곡이 발생한다. 동화상의 경우 울렁이는 느낌으로 촬영된다.
- 노출 분할 현상
촬영 순간의 조명 점멸 등으로 노출 차이가 크게 발생하는 경우에 촬상면의 행 간 노광 되는 시차로 인해 노출이 각각 다르게 나타난다.
▶ CMOS 전자 셔터 카메라에서 젤로 효과 억제하기
발생 원인은 어느 정도 이해되었다면, 젤로 효과를 억제/또는 경감하는 방법에 대해 강구해 보자. 사실, 글로벌 셔터 방식의 카메라를 선택하면 해결되는 문제지만 CMOS 센서의 장점도 매우 매력적이라 포기하기 어렵고 (이미지 센서만 교체할 수 없으니) 카메라 전체를 바꿔야 하므로 이 또한 그리 좋은 선택이라 하기 어렵다. CMOS의 롤링 셔터 방식의 카메라에서 젤로 효과를 완전히 제거하는 것은 어려워 보인다. 하지만, 발생 원인을 어느 정도 파악했으니 대응할 수 있는 방법을 찾을 수 있지 않을까?
- 기계식 또는 전자선막셔터(Electric curtain shutter)의 대체 사용
기계식 셔터 또한 초점면/focal plane 셔터 방식의 고속 셔터에서는 젤로 현상이 사라지는 것은 아니지만 전자 셔터에 비해서는 거의 체감하기 어렵다. 그리고 전자 선막 셔터 또한 기계식 셔터 수준으로 젤로 현상이 억제된다. 전자 선막 셔터에서는 후막이 기계식 셔터이고 따라서 후막이 빛을 차단하여 판독이 이루어지기 전에 노출을 종료할 수 있으므로 전자 셔터의 단점이었던 행간의 노출 시간 격차를 줄이는 역할을 한다. 하지만 이 방법은 스틸 이미지 촬영에서만 국한되고, 전자 셔터 방식으로만 작동하는 동화상 촬영 기능에는 별 의미 없다.
전자 선막 셔터의 자세한 내용은 이전 포스팅으로 대신하자.
<카메라와 렌즈의 구조 32> 디지털 이미지 센서의 구조 II - 전자 셔터(글로벌 셔터와 롤링 셔터, 그리고 전자 선막 셔터 기능) / Degital image sensor II - Electronic shutter (Glob
Notice - 얄팍한 상식 수준에서 다루는 비전문적이고 깊이 없는 포스팅이므로 숨겨져 있을 오류와 논리적 비약, 수다쟁이의 헛된 망상에 주의가 필요하다. 디지털 이미지 센서의 구조에서 빼놓을 수 없는 부분이..
surplusperson.tistory.com
아래 샘플 이미지는 조리개 우선 모드로 찍었더니 셔터 스피드가 제 각각이다. 하지만 이해하는 데는 큰 지장이 없고, 별로 중요하지 않으므로 그냥 넘어가는 것이 좋겠다. 일단은 전자 셔터에서만 젤로 효과가 확연하게 체감된다는 정도로만 이해하는 용도로는 충분하다고 생각한다.
- 전자 셔터의 판독 속도 개선
전자 셔터의 젤로 효과는 각 픽셀(정확하게는 픽셀 행의) 판독 순간의 차이(순차적 판독)로 발생하므로 픽셀 행간의 판독 시차 자체를 줄이면 젤로 효과에 의한 상의 왜곡 정도를 경감할 수 있다. 먼저, 카메라 설정으로 해결할 수 있는 비교적 소모값이 적은 방법으로 촬영으로 얻는 이미지 데이터의 용량을 줄이는 방법이다. 카메라 설정 메뉴에서 이미지 품질 낮음을 선택 또는 동영상 녹화 해상도를 일정 낮추는 것으로 어느 정도 효과를 얻을 수 있다.
그리고 판독 속도와 관련해서 상대적으로 작은 이미지 센서는 큰 이미지 센서에 비해 동일한 해상력의 촬영 조건에서 상대적으로 판독 속도가 빠르다. 작은 CMOS 센서를 사용하는 콤팩트 카메라 또는 휴대용 모바일 기기의 카메라 모듈에서는 상대적으로 젤로 효과가 경감될 수 있다. 각 제품 이미지 센서에서의 판독(Readout) 속도와 관련되어 있으므로 기종에 따른 편차가 있겠다.
최근에는 이미지 센서의 회로 설계 공간 확보(이면조사형 센서 등)와 D램을 적극 사용하여 데이터의 전송 속도를 높여서 전반적인 판독 속도의 향상을 도모하려는 시도(이미지 센서의 해상력보다 저 해상력을 요하는 동화상 녹화 등에 카메라 제조사에서 흔히 픽셀 비닝-pixel binning-, 라인 스킵핑-line skipping- 등으로 불리는 방법으로 이미지 센서의 리딩 속도를 향상한 제품도 있다. 하지만 화질 측면에서는 그리 좋은 효과를 기대하기 어렵다. 이에 대한 자세한 내용은 추후 다른 포스팅에서 다뤄보자) 도 이루어지고 있지만, 이와 동시에 이미지 센서의 고화소화와 고해상도 이미지 구현 경쟁도 계속되는 추세이므로, 전체적인 판독 속도는 크게 달라지지 않고 정체된 감도 있다. 이는 판독 속도가 한걸음 쫓아가면 해상력이 한 걸음 도망가서 간격이 계속되는 것과 같아서 전자 셔터에서의 판독 속도 문제로 인한 젤로 현상 등은 한동안 뾰족한 해결책이 나타나기는 쉽지 않아 보인다. 하지만, 판독 속도 자체만을 높이기 위해서 고화소에 대한 집착을 버리거나, D램 적층 방식을 통해 어느 정도 타협할 수는 있겠다. (판독 속도가 일정 상승하여도 젤로 현상 자체가 없어지지는 않는 롤링 셔터 방식 COMS의 구조적 문제이므로) 젤로 현상 억제에만 목적이 있다면, 차라리 CMOS 글로벌 셔터 방식을 채용한 상용 카메라를 선택하는 것이 더 나을 수도 있다.
- 진동
차량이나 드론 등에 탑재한 카메라의 경우 잔 진동에 의해 젤로 현상이 발생한다. 대응은 (발생 원인을 제거하면 해결되므로) 진동을 억제할 수 있는 완충제를 사용하거나 진동이 직접 전달되지 않도록 조치를 취하면 개선된다. 드론에 장착된 카메라에서는 진동을 억제하기 위해서 고무 재질의 완충제를 즐겨 사용하지만, 카메라가 커지고 무거워지면 이런 간단한 고무 완충제로는 충분하지 않다. 가장 효과적인 방법으로 금속 와이어 케이블 또는 와이어로프를 이용하여 진동의 직접 전달을 막을 수 있는 완충 공간을 만드는 "진동 방지용 댐퍼"가 효과적이다.
- 이동하는 방향과 셔터 개폐 방향의 조정
고속으로 이동하는 물체가 방향 성을 가지고 한쪽으로 이동할 경우, 이동하는 물체와 같은 축으로 셔터가 움직이도록 하면 젤로 효과는 줄어든다. 카메라의 좌우 움직임에 셔터는 상하로 닫히므로 좌우로 휘어지는 왜곡이 눈에 띄게 나타난다. 카메라를 세로로 파지 하면 좌우 흔들리는 움직임과 롤링 셔터의 움직이는 방향이 같아져서 옆으로 기우는 현상은 억제된다. 달리는 기차나 자동차에서 창밖 풍경을 촬영하면 (특히 동화상 녹화에서) 수직의 구조물이 옆으로 기울어져 보이는 젤로 효과가 발생한다면 카메라를 세로로 촬영하면 기울어지는 왜곡은 사라진다.
단 물체의 이동 속도나 패닝의 속도가 빠르다면 물체가 홀쭉해지거나 약간 뚱뚱해지는 왜곡(셔터의 방향과 이동 방향이 일치할 때는 해당 축 방향으로 물체의 면 넓이가 증가하고 그 반대의 경우에는 감소하는 것처럼 보일 것이다)이 발생할 수도 있겠다. 그리고 회전하는 피사체의 왜곡에는 별 도움이 되지 않는다.
만약 상하 진동에 의해 의해 울렁이는 동영상이 촬영된다면 이 또한 카메라의 행과 종(가로와 세로) 방향을 바꾸면 개선될 수 있다. 하지만 대부분의 진동은 상하뿐만 아니라 좌우로도 움직이므로 확실하게 제거하기 위해서는 진동 차체를 억제/완충하거나 안정화 장치를 이용하는 것이 낫겠다.
- 플리커 / flicker
플리커(flicker) 현상에 대해서도 다루려했는데 젤로 효과를 정리하는데 잉여력이 바닥이라 간략히 다루자. 사실, 플리커는 카메라의 문제가 아니라 "조명이나 디스플레이 장치"와 관련 있다. 엄밀하게는 조명/디스플레이 장치의 주기적 점멸하는 특성 그리고 형광등 등의 실내조명에서 교류 전류를 변환하는 과정에서의 깜박임 문제라고 할 수 있다. 사진 촬영에 있어 플리커는 상하 줄무늬를 남겨서 거슬리는데 대응 방법은 플리커가 발생하지 않는 조명 장치 또는 여러 대의 조명장치를 활용하여 깜박이는 주기/위상을 보완하거나 부득이한 경우에는 플리커의 점멸 주기보다 빠른 셔터 스피드를 설정하면 플리커 효과를 억제할 수 있다.
근래, 일명 플리커 프리 등의 제품 또한 흔하다. LED 조명은 원래 플리커가 그리 잘 발생하지 않지만, 조도/밝기 조절을 위해서 (우리 눈이 잘 알아채지 못하는 짧은 주기의) 점멸 간격을 통해 밝기를 조절하는 조명, 디스플레이 (흔히 액정 등으로 불리는) 장치가 꽤 있어서 플리커가 자주 나타난다. 일상에서는 잘 체감되지 않지만 카메라로 촬영하면 점멸 주기와 셔터 스피드와 이미지 센서 판독속도 등등의 여러 문제와 뒤섞여 나타난다. 이 문제는 우리 시각의 인식 특성과 FPS와 관련해서 다른 주제로 다루는 것이 더 좋겠다.
플리커와 관련해서 한가지 유념할 부분은 전자 셔터(무음 촬영) 사용 시의 이미지 센서 판독(readout) 속도와의 관련한 문제이다. 셔터 스피드를 플리커 현상이 발생하지 않도록 설정하더라도 이미지 센서 상면의 판독 속도가 플리커를 유발하는 속도에 해당할 수 있기 때문이다. 이미지 센서의 판독 속도는 임의로 조절하기 어려우므로 이 때는 전자 셔터보다는 기계식 셔터를 사용하는 것이 좋다.
