[Coursera] CNN - Padding & Stride / Deep Learning Specialization

Padding

 

기본 Convolution에는 단점이 있어요.

 

Shrinking Output

이미지가 점점 작아진다.

 

$n$ x $n$ image를 $f$ x $f$ filter로 convolve하면 output은 $(n - f + 1)$ x $(n - f + 1)$ 입니다.

매번 Convolution을 적용할 때마다 이미지가 줄어들기 때문에, 100-layer deep network라면 이미지가 너무 작아져 버립니다.

 

가장자리 픽셀이 충분히 활용되지 않는다.

• 모서리(corner) 픽셀: 단 한 번만 output 계산에 참여
• 중앙 픽셀: 여러 3x3 region에 겹쳐 있어 여러 output에 참여

  

즉, 이미지의 가장자리 및 모서리 정보가 throw away되는 효과가 있습니다.

 

 

 

그래서 Padding을 사용합니다.

 

이미지 주위에 zero padding(값이 0인 테두리)을 추가합니다. Padding 크기를 $p$로 표기합니다.

p = 1 이면 6x6 이미지가 8x8 이미지가 됩니다.

8x8을 3x3 filter로 convolve하면 output은 6x6이 되니까 결국 원본 크기가 유지되죠.

 

Padding을 포함한 output 크기 공식은 아래와 같습니다.

 

$$Output size = (n + 2p - f + 1) * (n + 2p - f + 1)$$

 

e.g. $n =6, p = 1, f = 3 이면 6 + 2 - 3 + 1 = 6$

 

가장자리 픽셀이 이제 output이 더 많은 cell에 영향을 미치므로 정보 손실도 완화됩니다.

 

---

Valid Convolution vs Same Convolution

 

Padding을 어떻게 정할지에 대한 두 가지 관습이 있습니다.

 

Valid Convolution

padding이 없습니다. $p = 0$

 

$$Output = (n - f + 1) * (n - f +1)$$

 

Same convolution

output size를 input size와 같게 만들도록 padding을 설정합니다.

 

$$n + 2p - f + 1 = n → p = \frac{f -1}{2}$$

 

이 식이 integer가 되려면 $f$가 odd 여야 합니다.

 

Filter size $f$	Same convolution을 위한 $p$
3	1
5	2
7	3

 

 

왜 Filter 크기는 거의 항상 odd일까?

 

Computer vision에서 $f$는 거의 항상 odd입니다.

대칭 padding: $f$가 even이면 same convolution을 위해 한쪽에 더 많이 padding하는 asymmetric padding이 필요합니다. $f$가 odd면 사방으로 균등하게 padding할 수 있습니다.

중심 픽셀의 존재: 3x3, 5x5처럼 odd-size filter

 

 

 

 

 

 

---

Strided Convolution

 

지금까지는 filter를 항상 한 칸씩 이동시키며 convolve했습니다. 이 때는 stride = 1

Stride $s$를 도입하면 filter를 한 번에 $s$ 칸씩 이동시킬 수 있습니다.

 

e.g. 7x7 이미지를 3x3 filter로 stride $s = 2$로 convolve

• 첫 번째 output: 좌상단 3x3 영역에서 element-wise product 후 합산
• 두 번째 output: filter를 오른쪽으로 2칸 이동
• 한 행이 끝나면 아래로 2칸 이동

결과는 3x3 output이 됩니다.