Notice - 상식 수준에서 다루는 비전문적이고 깊이 없는 포스팅이므로 숨겨져 있을 오류와 논리적 비약, 수다쟁이의 헛된 망상에 주의가 필요하다.
노이즈는 카메라뿐만 아니라 전자 신호를 다루는 기기에서 빠짐없이 등장해서 성능이나 기기의 가치를 평하는 잣대의 하나로 자주 언급된다. 이전 사진과 관련한 수다에서도 노이즈에 대해 여러 번 언급했었는데, 이번 기회에 노이즈에 대해 한걸음 더 깊이 알아보자. 사실, 이전부터 디지털카메라 또는 후보정 프로그램의 디노이즈 알고리즘에 대해 수다의 주제로 삼고 싶기도 했다. 하지만, 디노이징의 방식이나 특징을 제대로 이해하려면 노이즈의 발생 원인과 패턴, 양태, 특징 등에 대한 이해가 선행되지 않고서는 어렵고, 노이즈 또한 쉬운 듯하지만 은근히 개념 자체가 모호하고 복잡해서 꽤 오랫동안 헤맨 주제이기도 했으며 아직도 사실 잘 모르겠다. 정리 차원에서 수다의 주제로 삼아보자. 더 알게 되거나 깨닫게 되는 내용이 있으면 추후 첨언하는 방법도 있겠다.
노이즈를 우리 말로 정의해 보면, '기계의 동작을 방해하는 (전기) 신호'라고 할 수 있다. 오디오 장치에서는 '잡음'이라고 이해되는데, 시각적 이미지와 관련된 장치에서는 '잡화소?' 정도로 의미를 대체할 수 있을까? (이미지와 관련해서도 관용적인 '잡음'이라는 용어를 그대로 사용하는 경우가 많은 듯하다. 아래에서 보듯이 '점 잡음 노이즈' 등으로 불리기도 한다), 잡소리 같은 어감이 교양 있어 보이지는 않는다. 따라서 일반적으로 '노이즈'라는 외래어가 그대로 사용되지 싶다. 이미지 장치에 국한한다면 '정상적인 이미지 형성을 방해하는 비정상적인 전기 신호 또는 디지털 데이터'라고 할 수 있겠다.
노이즈 켄설링 등의 용어는 주로 오디오 장치에서 잡음을 감소하는 방식을 의미하고, 노이즈 필터 등은 주로 전원 회로 등에서 정상적인 전기 신호는 통과시키고 노이즈 성분만을 제거/감쇠(attenuate)하는 의미로 사용되지 싶고 종종 이미지 후보정 등의 도구로서 노이즈 필터 등의 용어 또한 사용되는 것 같다. 비슷한 의미로 노이즈 리덕션이 더 친숙하긴 하다.
화상 (정지 이미지나 영상)에 발생하는 노이즈에 대하여 한 걸음 더 들어가 보자. 그리고 엄밀한 의미에서 필름에서는 노이즈라는 개념이 존재하지 않는다. (그레인은 감광 소자의 입자감으로 노이즈와는 조금 다르다) 이에 대한 자세한 수다는 아래 링크로 대신하자.
"필름은 아날로그일까?" - 필름과 아날로그 화상 신호 그리고 디지털 이미지 I / Film is not analog! - F
Notice - 얄팍한 상식 수준에서 다루는 비전문적이고 깊이 없는 포스팅이므로 숨겨져 있을 오류와 논리적 비약, 수다쟁이의 헛된 망상에 주의가 필요하다. 유튜브의 영상을 보다 보니 "아날로그?
surplusperson.tistory.com
▶ 노이즈의 종류 (양태 및 분포, 발생 원인에 따른 구분)
디지털카메라(이미지 프로세싱)와 관련한 노이즈 종류/구분은 노이즈의 발현 형태나 분포 방식, 발생 원인 등에 따라 꽤 다양한 용어들이 혼재해서 이를 구분하는 명확한 기준은 없고 그때그때 필요에 따라서 등장하는 경우가 많다. 아래의 구분은 임의적이고 주관적인 분류에 불과하고 이런 구분체계가 일반적인 방법인지는 확신할 수 없다. 단지, 좀 더 이해를 쉽게 하기 위해 개인적으로 분류한 것에 불과하다.
- 휘도 노이즈와 컬러 노이즈
디지털카메라에서 노이즈의 발생 원인은 이미지 센서에서 빛이 수광되어 이를 포토다이오드에서 발생하는 전하의 양(전압)으로 측정, A/D 변환(양자화-Quantization)을 거치며 다시 디지털 이미지 프로세싱 그리고, 전송/저장되는 과정에서 꽤 다양한 노이즈 발생 원인을 가진다. 하지만, 이 노이즈 발생 원인의 차이로 인하여 이미지에 나타나는 노이즈의 형태를 거의 구분하기 어렵고 비슷비슷한 결과 즉, 모두 노이즈라고 통칭해서 불리는 점도 특징이다. 따라서 일반적으로 디지털카메라의 노이즈는 개별적인 발생 원인 별로 구분하여 부르기도 하고, 발현 형태에 따라 분류할 수도 있으며, 뭉뚱그려서 설명되거나 노이즈를 제거하는 기능적인 측면에서 구분하기도 해서 조금 혼란스럽다.
촬영된 이미지 결과물에서 시각적로 구별되는 형태의 일반적인 구분의 하나로 휘도 노이즈 / Luminace noise 컬러 노이즈 / Color or Chromatic noise로 구분하기도 한다. 노이즈의 발생 원인이 다양한데 단지 보이는 시각적인 특징으로 휘도나 컬러로 구분하는 것은 큰 의미는 없지 싶다. (둘의 소소한 발생원인을 구분할 수 있는데 이는 아래에서 다시 자세히 다루자) 물론, 사람의 시각은 휘도 노이즈보다 컬러 노이즈를 더 불편하게 인식하는 경향이 있지 싶다. 즉, 휘도 노이즈의 경우, 물체의 질감 특성으로 인식하거나 필름 사진의 그레인(필름 내의 소자 입자감) 정도로 받아들이고 용인하는 것 같다. 하지만, 컬러 노이즈는 이미지 또는 피사체를 지저분하게 보이게 하는 시각적 불편함과 직결된다. 후보정 프로그램 등에서 편의상 기능을 구분하고 적용 알고리즘을 조금 달리하는 기능적 의미로 구분 사용하는 의의 정도는 있어 보인다.
- 전기 신호적 분포 특징에 주목한 노이즈 분류
- 가우시안 노이즈(Gaussian noise)
가우시안 분포라고 알려진 정규 분포와 같은 확률 밀도를 갖는 통계적인 노이즈를 일컫는다. 리셋 노이즈, 샷 노이즈(광자 노이즈)등의 분포 형태가 가우시안 노이즈에 해당하지 싶다. 아래 이미지에서와 같이 명부와 암부에 전체적으로 고르게 (푸와송 Poisson 분포) 분포한다.
- 점 잡음 / 고정된 패턴 노이즈 (Salt & pepper / fixed pattern noise)
흰점과 검은 점 등 휘도가 정상적인 픽셀과 다르게 튀어 발생하는 노이즈로 스파이크 노이즈라고도 불린다. 주로 장노출 촬영 등에서 발생하는 열에 의한 노이즈(이하 '장노출 노이즈' 또는 암전류 노이즈), 그리고 A/D 변환 시에 발생하는 오류, 전송 비트 오류 등으로 발생한다. 앞에서 설명한 휘도 노이즈와 매우 관련이 깊어 보인다.
- 유니폼 노이즈 (Uniform noise)
균일한 발생 형태/분포를 보이는 노이즈로 아래에서 설명할 양자화 노이즈가 대표적이다.
- 발생 원인에 따른 노이즈 분류
- 샷 노이즈 (광자 노이즈) / Photon shot noise
광자(Photon) 노이즈 - 광전 효과(Photoelectric effect) 즉, 빛의 입자 개념인 광자가 금속에 에너지를 전달하면 전자가 튀어나가는 것으로 전류의 생성을 설명. 전자가 튀어나가고 남은 구멍을 양공이라 한다. 1905년 아인슈타인에 의해 이론적으로 설명되었다. 샷 노이즈 또는 광자 노이즈는 푸와 송(Poisson) 분포로 이미지 강도의 제곱근에 비례하며 가우시안 노이즈와 유사하다.
샷 노이즈는 오디오와 관련한 백색 소음 등의 노이즈를 설명하는 포괄적이고 일반적인 용어이며, 넓은 의미의 샷 노이즈에는 광자 노이즈, 암전류에 의한 노이즈, 리셋 노이즈 등을 모두 포괄하는 것으로 이해할 수도 있겠다. 여기서는 좁은 의미의 광자 노이즈 (Photon shot noise)로 이해하는 것이 좋겠다.
광자 노이즈의 발생 원인을 간략히 살펴보면, 광자는 불규칙하게 이미지 센서의 픽셀(포토다이오드)에 도달해서 각 픽셀 별로 편차가 발생한다. 이런 편차는 특히, 저조도에서의 픽셀(포토 다이오드)에서 상대적으로 광자가 픽셀과 충돌하며 포토다이오드에서 전자가 튀어나가고 양공이 형성되는 기회의 포착이 적고 이런 확률상의 편차 문제로 저조도의 낮은 수광율에서는 신호대 잡음비가 높아질 수밖에 없다.
광자에 대해서 흥미로운 글 하나를 링크로 대신하자. 빛은 아주 일상에서 흔한 것이지만, 물리적 특징은 아주 재미있고 신비하다.
▷ https://m.post.naver.com/viewer/postView.nhn?volumeNo=16874033&memberNo=29381200&vType=VERTICAL
샷 노이즈는 이미지 전반에 정규(확률 밀도) 분포 또는 균일 분포하는 가우시안 노이즈와 유사한 분포를 보인다.
- 암전류에 의한 샷 노이즈 / Dark current noise
암전류 노이즈 -Dark shot(or current) noise- 암전류는 열에 의해 발생하는 경우가 가장 많으므로 장노출 촬영 등으로 고온 픽셀에서 암전류가 주로 발생한다. 일반적인 샷 노이즈와 유사한 형태를 보이지만, 장노출 노이즈 리덕션이 제대로 이루어지지 않으면 과포화된 픽셀의 노이즈는 핫픽 셀로 나타나서 앞에서 언급한 점 잡음과 같이 명도가 튀는 흰점으로 나타난다, 장노출 외에도 고온 환경에서의 촬영이나 장시간의 연속적인 영상 촬영 등으로 센서 픽셀에 과도한 발열로 인한 핫픽셀 등으로 암전류 노이즈 등이 나타날 수 있다.
엄밀한 의미에서 암전류에 의한 샷 노이즈는 이미지 센서의 단순한 열 방출에 의해 발생하는 전자가 원인이며, 포토 다이오드에서 광자 포집으로 발생하는 전자에 비해 상대적으로 아주 작은 양에 불과하므로 일반적인 촬영 환경에서는 거의 눈에 띄지 않는다. 하지만, 장노출, 또는 고온의 열 발생 등으로 많은 전자가 생기고 상대적으로 포집되는 광자에 의해 발생하는 전자의 수가 적어지면 유의미하게 노이즈로 나타난다.
- 판독 노이즈 (Read or Readout noise)
판독 노이즈는 이미지센서의 픽셀과 A/D 전환 과정에서 발생하는 노이즈로 이미지 센서의 신호를 읽기 위한 증폭기의 고유 출력 노이즈다. 이는 이미지의 어두운 영역(암부)에서 일정하게 나타나는 경우가 일반적이다.
판독 노이즈가 거슬리는 이유 중 하나는 컬러 필터 어레이(Color filter array) 방식을 취하고 있는 대다수의 CMOS 이미지 센서 방식의 구조적인 문제로 RGB의 색정보 중에서 유독 B(blue)가 증폭이 많이 이루어지고, 따라서 청색 판독 노이즈가 상대적으로 더 눈에 띄게 증가하기 때문이 아닌가 생각한다. (이미지의 어두운 영역에 무작위로 발생하는 푸른 컬러 노이즈를 쉽게 떠올릴 수 있겠다. 앞에서 휘도 노이즈와 컬러 노이즈에서 언급했듯이 컬러 노이즈는 유독 불편하게 느껴져서 더 거슬리는 측면이 있다)
- 리셋 노이즈 (Reset noise)
리셋 노이즈 - 픽셀(포토다이오드)에 잔존 전하의 불균일 문제가 원인이다. 즉, 이미지 노광 직전 모든 픽셀의 기본 전압이 모두 균일하여야 하지만, 픽셀 별로 기준 전압이 다르고 따라서 노광 후 측정 전압에서도 오류가 발생한다. 이는 개별 픽셀 기준 값에서 불균일의 문제이고 해결 방법으로는 개별 픽셀의 잔존 전하에 의한 기본 전압 편차를 해소하기 위해서 노광이 이루어지기 직전에 간 픽셀의 전압을 측정하여 그 오차 값을 반영하는 방법 등이 있다.
픽셀의 리셋 후 전압 불균형 문제의 해법으로 이미지 센서의 전면을 물리적으로 막아서 완전한 암흑 상태로 유지하여 픽셀 내부의 전하를 초기화를 하는 기계식 셔터가 아직 유용한 측면이 있지 싶다. 이는 이전 디지털카메라에서의 '기계식 셔터의 효용?'과 관련해서 다루었던 내용이므로 자세한 설명은 이전 수다를 참조하기 바란다.
스틸 카메라와 달리 물리적인 기계식 전면 셔터가 없는 캠코더나 시나마 카메라에서는 이미지 센서 전면을 물리적으로 차단(마운트 캡 등을 장착)하고 이미지 센서 정보(픽셀의 전하량)를 리셋하는 모드를 추가하는 방식도 즐겨 사용된다.
- 양자화 노이즈 (Quantization noise)
이미지 픽셀에 감지된 아날로그 신호를 디지털 신호화하기 위한 양자화 과정에서 이산 신호(샘플링)로 인해 발생한다. 대표적인 유니폼 노이즈(uniform noise)에 해당한다. 양자화 노이즈는 꽤 복잡한 면이 있는데, 이해하는 정도가 낮아서 쉽게 요약하기 어렵다. 기회가 되면 길고 복잡하게 다루어 보자. (오버 샘플링이나 디더링, 그리고 A/D 변환 뿐만 아니라 그 반대인 디지털 신호의 아날로그 출력 등에도 흥미로운 점이 있다)
앞에서 분류한 노이즈 발생 원인 구분 이 외에도 전자 신호의 전송 과정 및 회로 내에서 간섭에 의해 발생하는 노이즈, 전압 뿐만 아니라 전류 노이즈 등 매우 다양해서 모두 열거하기 어렵다. 단지 발생 원인이 비교적 명확한 대표적인 노이즈에 대해서 다룬 것에 불과하다. 그리고 조금 다르게 분류하면 디지털 카메라의 이미지 센서로 인해 발생하는 노이즈와 전자 기기라는 특성 때문에 발생하는 노이즈로 구분할 수 있는데, 샷 노이즈와 암전류 노이즈 판독 노이즈는 이미지 센서로 인해 그리고 리셋 노이즈와 양자화 노이즈는 전자 기기(electronics)적 측면의 노이즈로 분류하는 경우도 있지 싶다.
광자 샷 노이즈(Photon shot noise)와 암전류 노이즈(Dark current noise), 판독 노이즈에 대해서 추가적이 내용은 아래 링크의 수다를 참고하는 것이 좋겠다.
디지털 카메라의 노이즈 2 - "광자 샷 노이즈"와 "판독 노이즈" / Noise of a digital camera II - Photon shot noise & readout noise
Notice - 상식 수준에서 다루는 비전문적이고 깊이 없는 포스팅이므로 숨겨져 있을 오류와 논리적 비약, 수다쟁이의 헛된 망상에 주의가 필요하다. 이전 카메라의 구조에서 간략히 언급했던 디지털카메라 노이즈에..
surplusperson.tistory.com
▶ ISO 감도 조정에 따른 노이즈의 증폭/변화 여부
때때로 ISO 감도 증감 이전에 발생하는 판독 노이즈와 증감 이후 발생하는 노이즈(업스트림 리드 노이즈와 다운스트림 리드 노이즈)로 구분하는 넓은 의미로 사용하는 경우도 있는 것 같다. 이는 ISO 감도 증감에 따라 노이즈 또한 증감되는 여부를 구분하기 위해서다. 대부분의 노이즈는 증폭 이전에 발생하고 아주 일부의 노이즈 (A/D 변환 오류나 내부 프로세싱과 전송 과정에서의 오류로 인한 노이즈)만 제외된다. 따라서 근래에 만들어진 대부분 디지터 카메라의 노이즈는 ISO 감도가 높아질수록 (저조도 고감도 촬영) 노이즈가 증가한다고 해도 노이즈의 전체 비율 등으로 볼 때 크게 차이 나지 않으므로 별도로 구분하지 않았다.
ISO 감도 증가는 저조도의 빛 즉, 미세한 전하의 양을 증폭하여 신호의 세기(전압)를 높이는 방식이지만, 이는 이미 존재하는 노이즈 신호를 동일하게 증폭 시키므로 광자 노이즈에 대한 신호대 잡음비(SNR - signal to noise rate)에는 변화가 없지만, 증폭 과정에서 증폭기 고유의 노이즈(판독 노이즈)가 증가하므로 전체 노이즈(특히 암부 노이즈)는 증가한다.
ISO 감도 증폭 이후에 발생하는 노이즈(다운스트림 리드 노이즈)를 감쇠하기 위해서 이미지 센서 및 카메라 내부의 배선을 전도율이 높은 소재(구리 등)를 사용하고 충분한 회로의 공간 확보를 위하 설계 및 구조의 개선 등이 대표적인 예가 아닐까 싶다. (이면조사형 센서 등에서 홍보하던 내용을 떠올리면 이해하기 쉽겠다) 이미지센서의 CMOS와 CCD 방식에 대해 따로 구분하지 않았는데 CCD와 CMOS는 증폭 과정 세부적인 차이가 있지만, 노이즈 발생 측면에서 볼 때 대동소이해서 따로 언급하지 않았다. 판독 속도(readout speed)와 판독 노이즈(readout shot noise)의 상호 연관이나 관련성에 대해서도 알아보고 싶었으나 이건 너무 멀리까지 나가서 현재 주제를 벗어나는 이야기가 될 것 같다.
▶ 밴딩 노이즈 / Banding noise
끝으로 밴딩 노이즈 / Banding noise에 대해서 간략히 언급하자. 이는 카메라 제품에 따라 차이가 크고 일반적으로 발생하는 노이즈라 말하는 것은 부적당한 측면이 있다. 이는 이미지 센서에서 위상차 초점 검출을 위한 픽셀 분포로 인한 하드웨어의 문제 또는 각각의 픽셀 정보를 상호 보간하는 이미지 프로세스 상의 결함에서 발생하는 경우도 있겠다. 밴딩 노이즈 발현되는 양상도 매우 다양하며, 발생 카메라에 따라, "지나치게 밝은 촬영 조건, 또는 어두운 조건이거나 특정 ISO 값으로 촬영될 때, 특정 화이트밸런스 조건" 등등의 각 카메라에 따라 발생 조건이 각양각색이라고 한다.
이에 대한 대응도 펌웨어 등의 소프트웨어 업그레이드를 통해 이루어지는 경우가 많은 것을 보면, 이는 이미지 센서의 값을 읽는 과정에서의 부정확한 값(미러리스의 경우 이미지 센서 상의 위상차 감지 픽셀의 배열 등에서의 픽셀 정보 누락을 보간/보완하는 일련의 작업)이 원인이 아닌가 생각된다.
밴딩 노이즈(banding noise)는 밴딩 효과(banding effect)와는 구분되어야 한다. 밴딩 효과는 디지털 이미지 파일의 비트 심도 부족 등의 이유로 계조 표현이 부족하거나 과한 후반 보정, 넓은 DR 확보를 위한 감마 커브 변형 등으로 상대적으로 낮아지는 계조 표현력의 조건에서 밝은 영역의 계조가 깨지는 등의 원인으로 발생한다. (일반적으로 가장 밝은 영역이나 어두운 영역에 계조는 상대적으로 덜하고 눈에 잘 보이는 중간 밝기 영역(미들 톤)의 계조가 상대적으로 더 촘촘하므로 계조 깨빔에 의한 밴딩 효과는 밝거나 어두운 영역 극단의 영역에 잘 발생하고, 특히 밝은 부분에서 시각적으로 잘 보인다) 자세한 내용은 별도의 수다로 대신하자.
계조(階調), 디지털 이미지(사진)의 계조 - 다이나믹 레인지와 감마 곡선 Part.3 / Gradation & gray scale - DR & gamma curve III
Notice - 얄팍한 상식 수준에서 다루는 비전문적이고 깊이 없는 포스팅이므로 숨겨져 있을 오류와 논리적 비약, 수다쟁이의 헛된 망상에 주의가 필요하다. 계조와 관련해서 못다 한 수다를 계속 이어보자. 두서없..
surplusperson.tistory.com
노이즈의 여러 다양한 발생 요인이 있지만, 대부분의 노이즈는 카메라 특히 이미지 센서와 이를 디지털 신호화 하는 과정에서 발생하는 문제이므로 각 카메라의 내재된 고유 성능/특징 정도로 인식되고 특정 노이즈 리덕션 기능의 선택할 수 있는 메뉴 설정 이외에는 촬영자가 선택적으로 노이즈의 증감을 조절하거나 개선할 수 있는 여지가 그리 크지 않은 면도 있어 보인다. 그리고 발생 원인별로 구분한 내용도 잘 와닫지 않는 내용과 설명이라고 생각한다. (하지만, 이런 제한적인 조건에서도 깨알 같은 노이즈 감소 팁도 있어서 알아두면 조금 도움은 되지 싶다) 다음 편에서는 픽셀 당 수광률에 따른 노이즈 변화나 이미지 센서의 화소 수/해상력에 따른 차이와 카메라의 디지털 이미지 프로세싱 과정에서의 노이즈 리덕션, 그리고 후보정 프로그램 등을 통한 노이즈 리덕션 등에 대해서 다루어 보자. 내용이 길어지니 집중력도 떨어져서 다음을 기약하는 것이 좋겠다.
