퍼셉트론 개념과 AND 게이트 예제: 가중합, 임계값, 신경망 기초

핵심 정리

퍼셉트론은 여러 입력에 가중치를 곱해 더한 뒤, 그 합이 임계값을 넘는지에 따라 출력을 정하는 가장 단순한 뉴런 모형입니다. 이 글은 이 구조가 AND 게이트와 반가산기처럼 논리 계산으로 이어지고, 여러 층과 활성화 함수 그림으로 확장되는 흐름을 보여 줍니다.

• 초기 퍼셉트론은 x1, x2, x3 같은 입력을 받아 하나의 0 또는 1 출력을 만드는 구조로 설명됩니다.
• 가중합과 임계값을 바꾸면 같은 입력이라도 결정 기준이 달라지며, 원문의 파티 참석 예제는 이 역할을 직관적으로 보여 줍니다.
• 두 입력의 가중치를 조절한 AND 게이트 예제는 두 값이 모두 1일 때만 출력이 켜지는 논리 연산을 퍼셉트론으로 표현합니다.
• 여러 퍼셉트론을 연결한 그림과 반가산기 예제는 단일 판단 노드를 조합해 합과 자리올림 같은 출력을 만들 수 있음을 보여 줍니다.
• 마지막 sigmoid neuron 구간은 계단 함수, sigmoid, ReLU 그래프를 함께 두어 출력 함수 모양의 차이를 비교합니다.

먼저 가중합과 임계값으로 0 또는 1을 고르는 단일 노드를 이해한 뒤, 아래 그림에서 AND 게이트, 반가산기, 여러 층, 활성화 함수 비교 순서로 읽으면 흐름이 분명해집니다.

이어서 볼 글

• 기계학습 기초: Training Set, Test Set, Neural Network - 신경망 용어의 위치를 정리한 뒤 퍼셉트론 구조와 논리 게이트 예제로 이어갈 수 있다.

 

perceptron

초기 퍼셉트론: 여러개의 바이너리 인풋을 받아서 하나의 바이너리 아웃풋을 리턴 (뉴런을 모방)

여러 입력을 받아 하나의 출력을 만드는 초기 퍼셉트론 구조

인풋 범위를 실수로 확장하고 weight를 도입하고 output 계산식을 정의

가중합과 임계값으로 0 또는 1 출력을 정하는 퍼셉트론 식

인풋을 weight sum 해서 의사결정을 한다고 생각가능

예를들어 파티에 갈지 결정하는 퍼셉트론을 만들어보자

파티에 가고싶은 요소:

• 날씨는 좋은지 x1 = 0 또는 1

• 여자친구가 같이가고 싶어하는지 x2 = 0 또는 1

• 교통은 좋은지 x3 = 0 또는 1

그런데 날씨가 좋은 경우 다른건 따지지 않고 참석하고 싶을때..

w1 = 6, w2 = 2, w3 = 2, threshold = 5로 놓아보자

날씨가 안좋아도 여자친구가 가고싶어하고 교통이 좋으면 참석하는 걸로 바꾸어 보면.. threshold를 3으로 변경

AND 게이트를 만들어보자!

두 입력과 가중치, 임계값으로 구성한 AND 게이트 퍼셉트론

• x1 x2

• 0 0 > 0

• 0 1 > 2

• 1 0 > 2

• 1 1 > 4

퍼셉트론 여러개를 쌓아보자

퍼셉트론을 여러 층으로 쌓은 신경망 구조

가산기를 만들어보자

논리 게이트 조합으로 만든 반가산기의 합과 자리올림 출력

퍼셉트론 네트워크로 표현한 반가산기 구조

convnetJS Demo

http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

layer_defs = [];
layer_defs.push({type:'input', out_sx:1, out_sy:1, out_depth:2});
layer_defs.push({type:'softmax', num_classes:2});

net = new convnetjs.Net();
net.makeLayers(layer_defs);

trainer = new convnetjs.SGDTrainer(net, {learning_rate:0.01, momentum:0.1, batch_size:10, l2_decay:0.001});

sigmoid neuron

시그모이드 함수의 기본 정의

가중합과 편향을 입력으로 사용하는 시그모이드 뉴런 식

입력 변화에 따라 부드럽게 증가하는 시그모이드 함수 그래프

임계값에서 출력이 바뀌는 계단 함수 그래프

시그모이드 함수와 ReLU 활성화 함수 그래프 비교