L

U-Net: Convolutional Networks for Biomedical Image Segmentation

U-net은 Biomedical 분야에서 Image segmentation을 목적으로 제안된 Fully-Convolutinal Network(FCN)기반 모델이다.그리고 왜 이름이 U-net이냐면... 그리고 이 내용을 이해하기 위해선 기초 지식이 필요하다. >> https://l2024-9999.tistory.com/41 Fully Convolutional Networks for Semantic Segmentation(FCN)FCN은1. Semantic Segmentation 문제를 위해 제안된 딥러닝 모델로이고2. [Image classification model] to [Semantic segmentation model]로 크게 3과정으로 분리된다.- Convolutionalization - Dec..

FCN은 1. Semantic Segmentation 문제를 위해 제안된 딥러닝 모델이고 2. [Image classification model] to [Semantic segmentation model]로 크게 3과정으로 분리된다. - Convolutionalization - Deconvolution (Upsampling) - Skip architecture 1. Convolutionalization기존 Image Classification 모델들은 출력층이 Fully-connect(이하 FC) layer로 구성되어있다. 하지만 Semantic Segmentation 관점에서는 FC layer의 한계점이 있다. - 어떤 사진이 들어와도 필터의 크기가 고정되어 있음. - 그래서 해당 크기에 맞지 않는다면..

EfficientNet 기존 방법의 문제점 Width(Feature Map, 채널 수) Width와 성능은 비례하게 증가, 일정 수치 이상에서는 증가 폭 감소. (효율 하락) Depth(Layer, 신경망 층) Depth와 성능이 비례해서 증가, 일정 수치 이상부터는 성능하락. (해당 지점을 찾아서 최적화 해야함) Resolution(Input Image, Feature Map의 해상도) R(해상도)과 성능은 비례하게 증가, 일정 수치 이상에서는 증가 폭 감소(효율 하락) W는 각 층의 길이 / D는 각 층의 두께 / R은 데이터의 크기 최적의 Compound Scale Up(CSU) > 모든 모델에 적용가능함 1. Depth Convolution Layer가 a(alpha)배 증가 시 FLOPS도 a배..

1. Introduction SGD는 딥러닝 모델 학습에 매우 효과적인 성능을 보임. 특히 미니 배치를 사용하면 더욱 정교 + 빠르게 연산 진행 가능 But. H_PM을 초기화 할 때 주의해야함 레이어가 중첩되는 딥러닝 특성상 작은 변화가 레이어를 거치면서 큰 변화가 될 수 있음. >> 입력의 분포가 달라지면 파라미터들은 다시 새로운 분포에 대해 적응 + 학습해야함. 이걸 초기화 함수를 ReLU로 초기화하면 해결. (입력분포 안정화시 학습속도 가속) SGD 사용시 생기는 차이를 Internal Covariate Shift라고 칭함.(이하 ICS로 지칭) ================================================== 2. Towards Reducing Internal Covar..