[DL] Dropout

1. Dropout(드롭아웃) 이란?Foward Propagation에서 일정확률(0부터 1사의 확률)로 선택된 일부 Node 혹은 Neuron 들의 결과값을 0으로 설정하는 방식이다 . 즉, 선택된 일부 Node 혹은 Neuron을 제거하는 기법이다.  제거되는 뉴런의 종류와 개수는 오로지 random하게 결정된다. Dropout Rate는 하이퍼파라미터이며 일반적으로 0.5로 설정한다. 🤔 그렇다면 Dropout을 사용하는 이유가 무엇일까요? Dropout은 어떤 특정한 feature만을 과도하게 학습함으로써 발생할 수 있는 Overfitting을 방지할 수 있다. 즉, 일반화의 성능을 올릴 수 있는 것이다.  만일 특정한 피처(관련성이 높은 피처)가 예측결과값과 큰 상관관계가 있다고 가정해보자. ..

• format_list_bulleted ML&DL
• · 2024. 6. 20.

[DL] Batch Normalization

1. Batch Batch의 사전적인 의미는 "집단, 무리" 라는 의미입니다. 딥러닝에서 Batch는 전체 데이터를 N개의 묶음으로 나누며, 한 묶음 당 모델의 가중치를 한번씩 업데이트시킵니다.일반적인 gradient descent에서는 gradient를 한번에 업데이트하기 위해 모든 학습 데이터를 사용합니다. 즉, 학습 데이터 전부를 넣어서 gradient를 구하고, 그 모든 gradient를 평균내어 한번에 모델 업데이트를 진행합니다. 대용량의 데이터를 한번에 처리하지 못하기 때문에 데이터를 Batch 단위로 나눠서 학습하는 방법을 사용합니다.  SGD(Stochastic Gradient Descent)에서는 Gradient를 한번 업데이트 하기 위해 일부의 데이터만을 사용합니다. 한 번 업데이트하는..

• format_list_bulleted ML&DL
• · 2024. 6. 19.

[DL] Activation Function , Non-linear Function

활성화 함수의 특징 - 비선형함수(Non-linear Function) 실제 세계의 많은 문제들은 변수 간의 복잡한 상호작용과 비선형 관계를 포함하고 있습니다. 예를 들어, 이미지 문제에서 픽셀 간의 관계는 단순한 선형조합으로는 표현하기 어려운데, 선형함수는 입력 변수의 선형조합으로 출력을 계산하기에 비선형적인 관계를 표현하는데는 한계가 있습니다. 반면 비선형함수는 입력값에 따라 출력이 비선형적으로 변화하므로 신경망이 복잡한 비선형 패턴을 학습할 수 있게끔 도와줍니다.     활성화 함수의 특징은 선형함수가 아닌 비선형함수여야 합니다. 선형함수란 출력이 입력의 상수배만큼 변하는 함수를 선형함수라고 하는데, 예를 들면 $ f(x) = Wx+b $ 라는 함수가 있을 때 W와b는 상수입니다. 이 식은 그래프로..

• format_list_bulleted ML&DL
• · 2024. 6. 18.

[DL] CrossEntropy , KL Divergence

1. 정보 (information)란?확률 : 가능한 모든 상황에서 어떤 이벤트가 발생하는 빈도수  예를 들어 만일 99개의 파란종이와 1개의 빨간종이가 있다고 가정해보자. 만일, 파란종이가 나오면 놀라지 않을 것이고 빨간종이가 나오면 놀랄 것이다. 파란 종이가 나올 확률은 0.99로 높고, 빨간 종이가 나올 확률을 0.01로 낮기 때문이다.   즉 확률이높으면 그 사건이 발생해도 그 사건이 발생해도 놀라지 않고, 확률이 낮으면 그 사건이 발생했을 때 놀라게 된다.확률과 놀람은 서로 반비례의 개념이다. 그래서 놀람을 수학적으로 표현하자면, 확률을 p(x)라고 할경우 놀람은 확률의 역수인, 1 / p(x)로 표현할 수 있다.  실제 정보이론에서 표현하는 놀람의 공식은 log(1/p(x)) 이다.  따라서 ..

• format_list_bulleted ML&DL
• · 2024. 6. 14.

[Python] 최댓값과 최솟값의 초깃값 설정

파이썬에서 최댓값과 최솟값의 초깃값을 지정하는 방법에 대해 알아보자  1. sys 모듈 사용하여 시스템이 가장 높은 값과 가장 낮은 값을 지정 mx = sys.maxsizemn = -sys.maxsize 2. float 이용해 무한대 값을 지정mx = float('inf')mn = float('-inf')  💡주의! 좋지 않은 방법  mx = 999999  파이썬의 숫자형은 임의 정밀도를 지원하며 사실상 무한대의 값을 지정할 수 있다. 아무리 큰 수라 할지라도 얼마든지 더 큰 수가 지정될 수 있으므로, 이런 식으로 최솟값 변수에 임의의 값을 초깃값으로 지정하는 것을 지양해야 한다.

• format_list_bulleted Python
• · 2024. 5. 10.