원론

오차역전파 수치미분 vs 연쇄법칙 + 미분공식(오차 역전파 해당) 수치미분은 단순하고 구현하기 쉽지만, 계산 시간이 오래 걸린다는 것이 단점입니다. 그래서 가중치 매개변수의 기울기를 효율적으로 계산하는 오차역전파에 대해 배워보고자 합니다. 순전파를 통해 도출된 오차를 순전파의 역방향으로 가면서 오차를 줄일 수 있는 매개변수를 찾아가며 갱신하는 방법 실제값과 예측값의 거리(차이) = 손실함수의 값을 통해, 역으로 편미분을 통해 손실이 적어지는 최적의 매개변수를 구하는 것 알고리즘의 이해 1. 학습할 신경망을 구성/선택 2. 가중치 랜덤 초기화 3. 순전파를 통해 출력층에 도달, 출력값 확인 4. 비용함수를 계산 5. 비용함수를 최소화하는 가중치를 찾는다 6. 역전파를 통해 입력층으로 돌아오면서 비용함수를 ..

활성화함수 말그대로, 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할을 합니다. 즉, 입력된 데이터의 가중 합을 출력 신호로 변환하는 함수를 뜻합니다. 위는 활성화 함수의 처리과정을 나타내며, 가중치 신호를 조합한 결과가 a라는 노드가 되고, 활성화함수 h()를 통과하여 y라는 노드로 변환되는 과정입니다. 활성화함수의 종류 계단함수 계단함수는 입력신호가 0이하인 경우 전부 0으로 출력하며, 0을 초과할 때 1로 출력하는 함수를 말합니다. 시그모이드 함수 h(x)식에 값을 대입했을 때, 아래와 같은 그래프가 나타납니다. 계단함수를 사용하지않고, 시그모이드를 사용하는 이유는 기계가 학습할 때 미분을 통해 학습을 하는데 계단함수의 경우 0을 제외하고 미분계수가 0이므로 신경망에서는 계단함수를 사용하지 않..

퍼셉트론(Perceptron)이란? 프랑크 로젠블라트(Frank Rosenblatt)가 1957년에 제안한 초기 형태의 인공 신경망입니다. 인공신경망을 이루는 가장 기본 단위이며 다수의 신호를 입력으로 받아 하나의 신호를 출력합니다. 여기서 신호는, 전류가 전선을 타고 전자가 이동하듯 퍼셉트론이 데이터와 가중치들이 연산의 흐름을 만들어 정보를 계속 전달하는 것과 같습니다. 퍼셉트론의 종류 단순 퍼셉트론 (은닉층이 없는 것) 가장 기본적인 구조의 퍼셉트론 계단함수를 활성화 함수를 사용하는 모델 다층 퍼셉트론 (은닉층이 있는 것) 퍼셉트론이 레이어가 겹쳐 있는 상태 매끈한 활성화 함수를 사용하는 네트워크(시그모이드) 논리게이트 단순논리회로 : 단층 퍼셉트론 AND def AND(x1, x2): w1, w2,..