• 기본적으로 선형 함수의 형태를 가지고 있지만, 현실 세계에서는 비선형 형태를 가진것들도 있기때문에 이를 표현하기 위해서 활성화 함수를 도입해서 사용한다.
  • 기본적으로 선형 함수의 형태일때는 a(x) = ax + b 의 형태이며, 이는 이전 노드에서 계산되어 넘어온 값을 그대로 받는다는 의미이다.
• 활성화 함수는 합성 함수이다. (함수에 함수를 넣는 것)

  • $g_{(f_{(x)})}$

  • 일차 선형 함수에 함수를 넣음으로서 비선형 행태를 표현할 수 있다.

  • 노드간의 계산시에 활성화 함수가 사용된다.

    

시그모이드(sigmoid) 함수

• 각층의 관계를 비선형적으로 만들어주고 미분이 가능하게 해준다.

• 모든 값들을 0~1사이로 표현할 수 있게 된다.

  

  

tanh 함수

• 시그모이드 함수와 유사하지만, -1~1 사이의 값을 가진다.

  • 즉, 더 가파른 기울기를 갖는다.

    

  

ReLU 함수 (가장 많이 쓰인다)

• 음수값이 들어오면 0, 양수값이 들어오면 그대로 사용한다.

![Untitled](<https://s3-us-west-2.amazonaws.com/secure.notion-static.com/840a2b38-059e-4ecc-bf58-570176c92cf7/Untitled.png>)

![Untitled](<https://s3-us-west-2.amazonaws.com/secure.notion-static.com/af49e4a8-9ac9-499e-829a-69057c8781b4/Untitled.png>)

Leaky ReLU 함수

• 마이너스 값도 취할 수 있는 함수.

  

  

ELU 함수

• 지수함수를 이용하여 0이하의 부분을 부드러운 곡선으로 만든 함수.

  

  

Softmax 함수

• 모든 인풋값들이 0~1 사이의 값이 나오고 모든 성분의 합이 1이 나온다.

• 각 성분을 확률처럼 사용할 수 있는 특징이 있다.

  

  

예제