z2soo's Blog

목차 과적합(overfitting)의 상황을 피하기 위해 고안된 dropout 방식에 대해 알아본다. 과적합 Dropout Dropout 활용 MNIST 예제 과적합 과적합이란? 학습한 모델이 training data set에 최적화되어 있는 상태를 의미하며, 영어로 over fitting 이라고 한다. 달리 말하면, 테스트 데이터에는 잘 들어맞지 않는 상태를 지칭한다. 학습한 모델이 training data set에는 약 98% 이상의 정확도를 가지지만, test data set에 대해서는 85% 정도 수준의 정확도가 나오면 overfitting이라고 규정한다. 과적합을 해결 방법? feature engineering 과정에서 ... 일단 학습하는 데이터 수가 많아야 한다. (개인적으로 제어 가능한 영..

목차 정확도를 높이기 위해서 임의로 설정되도록 한 초기값을 Xavier를 사용하여 설정되도록 한다. Xavier Initialization 그래프 초기화 Xavier 활용 MNIST 예제 Xavier Initialization 가중치 W에 대한 초기값이 랜덤으로 설정될 경우 운에 의해서 학습의 정확도가 달라진다. bias의 경우 상수여서 임의로 설정해도 괜찮지만, W 값의 경우 가중치로써 가설까지 영향을 주기 때문에 중요하다. 이를 보다 효율적으로 설정하기 위해 Xavier initialization, He initialization 초기법이 등장하였으며, 여기서는 Xavier 초기법을 다루어보록 한다. W = tf.get_variable( name = '이름', shape = [n1,n2], initi..

목차 정확도를 높이고, Sigmoid 함수의 한계를 해결하기 위해 사용되기 시작한 ReLU함수에 대해 알아보도록 한다. Sigmoid 함수 ReLU 함수 Sigmoid 함수 Sigmoid 함수 그래프 Sigmoid 함수 특징 함수 값이 ( 0, 1 )로 제한된다. 중간 값은 1/2 이다. 가장 큰 값을 가지는 함수값은 거의 1이며, 매우 작은 값을 가지는 함수값은 거의 0이다. Sigmoid 활용 MNIST 예제 이전 포스팅에서 tensorflow에서 제공하는 MNIST 데이터를 가지고 deep learning을 수행해보았다. deep learning이란 조금 더 학습이 잘 되기 위해 layer를 추가하고, 각 layer에 많은 perceptron을 추가해서 구현하는 학습을 말한다. deep learni..

목차 MNIST with Neuron Network tensorflow가 기본으로 제공해주는 예제를 이용해서 MNIST multi-layer (deep learning)을 진행해보자. 모듈 삽입 Data set Placeholder Weight, bias Hypothesis Cost function Train Session, 초기화 학습 예측 모듈 삽입 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import warnings warnings.filterwarnings(action='ignore') # 불필요한 warning 알림을 끈다. Data set mnist = input_data.read_dat..

목차 모듈 삽입 Data set Placeholder Weight, bias Hypothesis Cost function Train Session, 초기화 학습 예측 모듈 삽입 import tensorflow as tf Data set XOR gate 논리회로를 multi-layer를 사용하여 학습이 가능하다는 것을 보이고자 한다. 따라서 사용하는 데이터는 XOR 배타적인 논리연산을 이용한다. (두 값이 다른 경우에만 값이 1) x_data = [[0,0], [0,1], [1,0], [1,1]] y_data = [[0], [1], [1], [0]] Placeholder X = tf.placeholder(shape=(None,2), dtype=tf.float32) Y = tf.placeholder(shap..

목차 Perceptron 논리회로: AND, OR, XOR Multi-layer perceptron 1. Perceptron 컴퓨터가 직접 생각하여 결정을 내리도록 만들기 위해 인간의 뇌를 연구하기 시작하였다. 여러 감각으로 통해 습득된 정보가 뇌를 통해 입력된다고 생각하면, 시각, 후각, 청각 등 모든 정보가 동일 비율로 입력되지는 않을 것이다. 시각에 가중치가 있을 수도 있고 후각에 가중치가 있을 수도 있다. 이렇듯 가중치가 추가된 입력 데이터가 뉴런에 전달되면 이 정보와 다른 요소(경험, 지식 등)를 합하여 이를 실행(activation)할지를 결정한다. activation을 결정 하면, 다음 뉴런으로 넘아가는 과정으로 본다. 이 과정이 마치 logistic 과정과 비슷하다고 생각된다. 처음에는 l..