EfficientNet
기존 방법의 문제점
Width(Feature Map, 채널 수)
Width와 성능은 비례하게 증가, 일정 수치 이상에서는 증가 폭 감소. (효율 하락)
Depth(Layer, 신경망 층)
Depth와 성능이 비례해서 증가, 일정 수치 이상부터는 성능하락. (해당 지점을 찾아서 최적화 해야함)
Resolution(Input Image, Feature Map의 해상도)
R(해상도)과 성능은 비례하게 증가, 일정 수치 이상에서는 증가 폭 감소(효율 하락)
W는 각 층의 길이 / D는 각 층의 두께 / R은 데이터의 크기
최적의 Compound Scale Up(CSU) > 모든 모델에 적용가능함
1. Depth
Convolution Layer가 a(alpha)배 증가 시 FLOPS도 a배 증가(레이어 증가 = 연산량 a배 증가)
2. Width
Width가 b(beta)배 증가 시 FLOPS는 b²배 증가(각 레이어의 폭 증가 = 연산량 b²배 증가
3. Resolution
Resolution가 γ(gamma)배 증가 시, FLOPS는 γ²배 증가합니다. (해상도 증가 = 연산량 γ²배 증가)
NasNet으로 BaseModel 설계 / Small Grid Search방식으로 CSU진행해서 H_PM 최적화
'Deep Learning' 카테고리의 다른 글
| U-Net: Convolutional Networks for Biomedical Image Segmentation (0) | 2024.10.20 |
|---|---|
| Fully Convolutional Networks for Semantic Segmentation(FCN) (0) | 2024.10.18 |
| Batch-Normal (0) | 2024.10.18 |