[Metrics] PSNR & SSIM
PSNR & SSIM
Image Reconstruction을 수행하는 중, Model Selection 을 위한 비교 metric 중 하나인 PSNR, SSIM 을 정리한 글입니다.
1. PSNR
1-1. 정의 및 특징
Peak Signal-to-Noise Ratio
영상 정보, 화질을 평가할 때 사용되는 Metric. 현재 나는 Image Reconstruction Task 를 수행하며, 다양한 모델의 비교를 위해 사용하기 위해 공부하는 내용이다.
품질이 좋은 이미지는 큰 PSNR 값을 가지며, 품질이 좋지 않은 이미지는 작은 PSNR 값을 가지게 된다.
- Peak Signal-to-Noise Ratio
$$PSNR = 10log_{10}(\frac{MAX_I^2}{MSE})=20log_{10}(\frac{MAX_I}{\sqrt{MSE}}))=20log_{10}(MAX_I)-10log_{10}(MSE)$$
MAXI 는 해당 영상의 최댓값, 해당 채널의 최댓값에서 최솟값을 빼서 구함
- e.g. 8-bit gray scale 의 경우, 255-0 = 255
단위: db(log scale)
무손실 영상의 경우 MSE 가 0이기 때문에, PSNR 은 정의 되지 않는다.
$$MSE = \frac{1}{mn}\sum_{i=0}^{m-1}\sum_{j=0}^{n-1}[I(i,j)-K(i, j)]^2$$
I : mxn 사이즈의 grayscale image
K: I 에 잡음이 포함된 이미지 (왜곡된 이미지)
1-2. 한계
PSNR은 intensity 의 값들을 위 식에 의해 종합하여 평가하는 방식이기 때문에, 실제로 사람이 봤을 때 느끼는 것과 다른 점수를 뱉어낼 때가 있다. 즉, 사람의 지각품질을 제대로 반영하지 못하기 때문에 이를 보완하기 위해 PSNR-HVS, PSNR-HVS-M, SSIM, VIF 등의 Metric 이 개발되었다.
2. SSIM
2-1. 정의 및 특징
위 PSNR 의 한계를 극복하기 위해, 개발된 metric 으로써, Structural Similarity 의 줄임말이다. 사람의 지각 능력과 metric 을 일치시키는 목적에 개발되었다. 사람은 영상에서 구조 정보를 반영하여 영상을 바라보게 되는데, 영상이 얼마나 그 구조 정보를 변화시키지 않았는가를 살펴보는 metric 이다.
즉, 원본이미지(x)와 왜곡이미지(y)의 Luminance(l), Contrast(c), Structure(s)를 비교한다.
contrast: 이미지의 표준편차값
structure: (이미지-평균밝기) / 표준편차
$$l(x, y)=\frac{2\mu_x \mu_y+c_1}{\mu_x^2+\mu_y^2+c_1}$$
$$c(x,y)=\frac{2\sigma_x\sigma_y+c_2}{\sigma_x^2+\sigma_y^2+c_2}$$
$$s(x,y)=\frac{\sigma_{xy}+c_3}{\sigma_x\sigma_y+c_3}$$
$$SSIM(x,y)=[l(x,y)^{\alpha}c(x,y)^{\beta}s(x,y)^{\gamma}]$$
$$c_3=c_2/2$$
위에 c3 와 c2 의 조건을 추가하면 SSIM 은 다음과 같이 축약된다.
3. Reference
[Metrics] PSNR & SSIM