[밑.시.딥.1] 신경망의 개요

2차원, 3차원의 데이터가 있다. 근데 실제론 수만차원의 데이터를 다룬다. 이 수만차원에서 방대한 양의 데이터를 뿌리고 이 데이터를 구분할 수 있는 가를 이야기하는 분야가 바로 딥러닝이다! 즉, 딥러닝은 공간상에서 데이터를 분류하는 작업을 자동화하는 도구라고 생각하면 된다.

 

기본적으로 뉴런 네트워크에서는 직선을 긋는데, 앞서 XOR 게이트로 확인했듯이 직선만 그어서는 데이터를 전부 구분할 수 없다. 직선을 여러개 그어 구분할 수도 있고, 활성화 함수라는 함수를 씌워 데이터를 구분할 수도 있다. 이 이야기를 해보려 한다.

 

 

1. 신경망에 대해서

복잡한 함수, 심지어 컴퓨터가 수행하는 복잡한 처리도 퍼셉트론으로 표현할 수 있었지만, 원하는 결과를 출력하도록 가중치 값을 정하는 작업은 여전히 사람이 수동으로 해줘야 했다.

신경망은 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 하습하는 능력이 있다. 신경망을 그림으로 나타내면 아래와 같다. 가장 왼쪽 죽을 입력층, 맨 오른쪽 줄을 출력층, 중간 줄은 은닉층이라고 한다

 

 

 

2. 활성화 함수란?

일반적으로 활성화 함수란 입력 신호의 총합을 출력 신호로 변환하는 함수를 말한다. 이름이 말해주듯 활성화 함수는 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할을 한다.

활성화 함수는 아래와 같이 표현할 수 있다.

$$y=h\left ( b+w_{1}x_{1}+w_{2}x_{2} \right ) $$

$$h(x)=\left\{\begin{matrix}0\,(x\leq 0) \\1\,(x>0)\end{matrix}\right.$$

 

① 가중치가 곱해진 입력 신호의 총합을 계산하고, ② 그 합을 활성화 함수에 입력해 결과를 낸다. 이 식은 다음과 같은 2개의 식으로 나눌 수 있다.

$$a=b+w_{1}x_{1}+w_{2}x_{2}$$

$$y=h\left ( a \right )$$

퍼셉트론과 신경망의 개념이 헷갈릴 수 있는데, 여기서 말하는 퍼셉트론은 단순 퍼셉트론으로 계단 함수와 같이 임계값을 경계롤 출력이 바뀌는 함수를 활성화 함수로 사용한 모델을 가리키고, 신경망은 다층 프셉트론으로 시그모이드 함수와 같은 매끈한 활성화 함수를 사용하는 네트워크를 말한다.