전공
-
[CS230] C2M3 - Improving Deep Neural Networks전공 2020. 5. 4. 22:14
[ Hyperparameter tuning ] Tuning process - 파라미터 중요도 : 알파 > 모멘텀, mini batch size, # hidden units > # layers, learning rate decay - 파라미터 선택법: 1) 격자점을 사용하는 것보다 random하게 정하라 2) corse to fine: 전체 범위 탐색 후 확률이 높은 작은 범위 중심으로 탐색하기 Using an appropriate scale to pick hyperparameters - 값 후보 리스트 중 random으로 뽑아도 되는 것: # hidden units, # layers - 값 후보 리스트 중 선형 척도가 아닌 로그 척도에서 random으로 뽑아야 하는 것: ex ) 0.0001 a 기존 -..
-
[CS230] C2M2 - Improving Deep Neural Networks - Optimization algorithms전공 2020. 5. 1. 23:29
[ Optimization algorithms ] Mini-batch gradient descent 경사하강법을 전체 데이터 세트(데이터가 아주 클 경우)에 적용하는 것은 속도를 느리게 한다. 보다 작은 데이터 세트로 나누는 데 이것을 미니배치라고 한다. 미니배치의 갯수는 t이다. X^{t} Y^{t} X는 (n_x, m) Y는 (1,m) 예를 들어, X는 (n_x, 1000) Y는 (1,1000) (미니배치 경사하강법 구현) 에포크 Understanding mini-batch gradient descent 비용이 진동을 그리는 이유: 샘플마다 쉬운 샘플 어려운 샘플 다르게 구성되어 있으므로 확률적 경사하강법은 진동하며 최소값 주변을 돌아다니지마 절대 수렴하지 않음 vs 배치의 경우 한 반복에서 너무 오..
-
[CS230] C2M1 - Improving Deep Neural Networks - Practical aspects of deep learning전공 2020. 5. 1. 05:38
[ Setting up your Machine Learning Application ] 하이퍼파라미터 튜닝 최적화 알고리즘 속도 높이기 머신러닝 문제를 어떻게 해결하는지 - 정규화, 신경망 구현이 맞게 되었는지 확인하는 방법 Train / Dev / Test sets 훈련, 개발, 테스트 세트에 대한 선택은 좋은 성능을 내는 네트워크를 찾는데 영향 줌 신경망 훈련할 떄 많은 결정을 내려야함 # layers # hidden units learning rates activation functions (한 분야의 직관이 다른 분야에 전혀 적용되지 않는다. 데이터의 양, 입력의 갯수, GPU CPU의 설정 등에 결정되는 등) 처음 시작할 때는 처음부터 최적의 선택을 하기 어려우므로 idea - code - ex..
-
[CS230] C1M4 Neural Networks and Deep Learning전공 2020. 4. 30. 17:26
[ Deep Neural Network ] Deep L-layer neural network 로지스틱 회귀는 1층의 신경망 얕은 모델로 할 수 없는 것이 깊은 모델로 가능. 주어진 문제에 대해 얼마나 깊은 신경망 사용해야할지는 미리 예측 어려움. 따라서 로지스틱 회귀를 시도하고 그 다음에 두개의 은닉층 시도. L= 네트워크 층의 갯수 n^[L]: 소문자 L층의 단위의 갯수 Forward Propagation in a Deep Network - 정방향 전파 - 역방향 전파 Getting your matrix dimensions right 2 Why deep representations? Building blocks of deep neural networks Forward and Backward Propag..
-
[CS230] C1M3 Neural Networks and Deep Learning전공 2020. 4. 29. 22:18
[ Shallow Neural Network ] - 신경망의 은닉층을 설정하는 법 - 변수 초기화 - 정방향으로 예측값 계산. - 역전파에서 사용하는 경사 하강법에서 도함수를 계산하는 것 Neural Networks Overview (지난시간:로지스틱 회귀) - 특성 x와 변수 w와 b를 입력하여 z 를 계산 - z는 a라고도 불렀던 y hat을 계산하는데 쓰임. 마지막으로 손실함수 L을 계산 (신경망) 신경망은 여러개의 시그모이드 유닛을 쌓아서 만든다. 표기법: [1] vs X^(i) [1]: 신경망의 layer X^(i) : i번째 훈련 샘플 로지스틱 : Z계산 > a계산 > L계산 (z와a를 한번 계산) 신경망: Z계산 > a계산 > .....(Z계산 > a계산 반복).....> L계산 (z와a를 ..