z2soo's Blog

목차 정확도를 높이고, Sigmoid 함수의 한계를 해결하기 위해 사용되기 시작한 ReLU함수에 대해 알아보도록 한다. Sigmoid 함수 ReLU 함수 Sigmoid 함수 Sigmoid 함수 그래프 Sigmoid 함수 특징 함수 값이 ( 0, 1 )로 제한된다. 중간 값은 1/2 이다. 가장 큰 값을 가지는 함수값은 거의 1이며, 매우 작은 값을 가지는 함수값은 거의 0이다. Sigmoid 활용 MNIST 예제 이전 포스팅에서 tensorflow에서 제공하는 MNIST 데이터를 가지고 deep learning을 수행해보았다. deep learning이란 조금 더 학습이 잘 되기 위해 layer를 추가하고, 각 layer에 많은 perceptron을 추가해서 구현하는 학습을 말한다. deep learni..

목차 MNIST with Neuron Network tensorflow가 기본으로 제공해주는 예제를 이용해서 MNIST multi-layer (deep learning)을 진행해보자. 모듈 삽입 Data set Placeholder Weight, bias Hypothesis Cost function Train Session, 초기화 학습 예측 모듈 삽입 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import warnings warnings.filterwarnings(action='ignore') # 불필요한 warning 알림을 끈다. Data set mnist = input_data.read_dat..

목차 모듈 삽입 Data set Placeholder Weight, bias Hypothesis Cost function Train Session, 초기화 학습 예측 모듈 삽입 import tensorflow as tf Data set XOR gate 논리회로를 multi-layer를 사용하여 학습이 가능하다는 것을 보이고자 한다. 따라서 사용하는 데이터는 XOR 배타적인 논리연산을 이용한다. (두 값이 다른 경우에만 값이 1) x_data = [[0,0], [0,1], [1,0], [1,1]] y_data = [[0], [1], [1], [0]] Placeholder X = tf.placeholder(shape=(None,2), dtype=tf.float32) Y = tf.placeholder(shap..

목차 Perceptron 논리회로: AND, OR, XOR Multi-layer perceptron 1. Perceptron 컴퓨터가 직접 생각하여 결정을 내리도록 만들기 위해 인간의 뇌를 연구하기 시작하였다. 여러 감각으로 통해 습득된 정보가 뇌를 통해 입력된다고 생각하면, 시각, 후각, 청각 등 모든 정보가 동일 비율로 입력되지는 않을 것이다. 시각에 가중치가 있을 수도 있고 후각에 가중치가 있을 수도 있다. 이렇듯 가중치가 추가된 입력 데이터가 뉴런에 전달되면 이 정보와 다른 요소(경험, 지식 등)를 합하여 이를 실행(activation)할지를 결정한다. activation을 결정 하면, 다음 뉴런으로 넘아가는 과정으로 본다. 이 과정이 마치 logistic 과정과 비슷하다고 생각된다. 처음에는 l..