sigmoid2 [딥러닝1] 3강. 인공신경망 3층 신경망의 구조 먼저 3층 신경망은 입력층(0층), 1층, 2층, 3층(출력층)과 같이 이루어져 있다.신호 전달 과정을 살펴보자면각각의 값에 가중치를 곱해 편향과 함께 더한 후(soma의 역할) 다음 노드로 넘겨준다.그 안에서 h(x)라는 sigmoid함수를 통해 다음 층으로 넘길 값을 정한다.그 과정을 노드의 개수만큼 실행한 후 각 노드에서 나온 값에 가중치를 곱한 후 편향과 함께 더해주고 다음 층으로 넘겨준다.마지막 3층에서는 softmax함수를 통해 벡터를 확률벡터로 변환을 하여 출력한다.각각의 함수는 용도에 따라 지정이 가능하다.행렬 행렬은 수학에서 기본이면서도 중요한 부분이다.가로줄을 행(row), 세로줄을 열(column)이라고 하는데 가령 가로줄이 3줄, 세로줄이 2줄이라고 하면 (3, .. 2024. 7. 25. [딥러닝1] 2강. 활성화 함수 앞서 공부했던 퍼셉트론에서 만들었던 식을 0과 1을 구간에 따라 리턴해주는 Heaviside함수를 통해 약간 수정해보았다. 이제 퍼셉트론에서 인공신경망으로 넘어가야 하는데 퍼셉트론에겐 치명적인 단점이 있다. 바로 단층 퍼셉트론의 문제점인 XOR게이트를 구현할 수 없다는 사실이다. 따라서 여러 층의 퍼셉트론을 쌓아야했었다.또한 앞에서 Heaviside함수를 사용했는데 이 함수 대신 Sigmoid함수를 이용할 것이다. 이유는 현재 배우고 있는 것이 머신러닝에 속한 딥러닝이라는 것인데 머신러닝의 학습법은 미분을 통해 학습한다. 그런데 Heaviside함수는 0에서는 미분이 불가하고 다른 점에서는 미분계수가 모두 0이다. 정보가 없다는 뜻이다.따라서 미분을 통해 learning을 하는 머신러닝에 전혀 도움이 되.. 2024. 7. 23. 이전 1 다음
