z2soo's Blog

목차 프로그램 설치 가상환경 생성 및 전환 nb_conda 설치 Kernel 설정 모듈 설치 프로그램 설치 1. 실행파일 (CUDA) 첫번째 파일: NVIDIA에서 제공하는 최신 비디오 드라이버 두번째 파일: NVIDIA에서 제공하는 GPU를 쓸 수 있도록 만든 라이브러리 deep learning을 위해 비디오 버전이 받쳐줘야 한다. 현재 사용하고 있는 컴퓨터 사양: NVIDIA 그래픽 카드에 맞춰 필요한 최신 버전의 프로그램을 설치한다. 이를 위한 파일은 마찬가지로 Git에 올려두었다. 만약 다른 그래픽 드라이버를 사용한다면 그 회사에서 제공하는 파일을 찾아 설치하도록 한다. 폴더 내에는 실행 파일 두 개와, 압축 파일 한 개가 들어있다. 이는 NVIDIA에서 제공된다. 두 실행 파일을 모두 설치한다...

1. 빅데이터의 등장 IT에서 패러다임이 바뀌게 되는 중요한 사건들애는 1980년 초 PC 등장, 1990년 초 www internet 등장, 2007년 smart phone 등장 (외국에서는 스마트폰을 사용할 때, 한국은 아직 준비가 되지 않은 시기로 2년정도 나름의 쇄국정책을 취했음) 과 같은 것들이 있다. 이 때부터 정보 저장능력이 정보 발생량을 감당할 수 없는 상태가 되고, big data라는 신조어가 등장하게 되었다. 초기의 정의는 단순하게 ‘규모가 큰 데이터’ 였다. 그 내부에서 비즈니스 적인 가치를 얻고자 하면서 다양성 (정형, 반정형, 비정형)과 같은 의미를 부여하게 되었다. 빅데이터를 통해 얻고자 하는 것은 insight, 변화에 대한 예측이라는 점 잊지말자. 기존 3V 정의에서 최근에는..

1. 빅데이터 소프트웨어 종류 S/W 설명 비고 하둡 HDFS - 하둡 분산 파일시스템 - 대용량 데이터를 다수의 데이터노드에 분산하여 저장 (1pb 데이터를 128tb 크기로 쪼개서 저장) - 데이터 가용성을 보장 오픈소스 NoSQL-HBase - HDFS 기반의 Semi-Structured 데이터 저장소 - 정형 및 비정형 대용량 데이터를 저장 오픈소스 하둡 MapReduce - HDFS 기반의 대용량 데이터 배치 병렬처리 중심 시스템 - 프레임워크(개발환경)를 제공 - Key, Value 쌍의 데이터 구조(Map)를 사용해 데이터 저장 - 분산된 노드간에 데이터가 이동하는 것이 아닌 소스가 이동하여 데이터를 가공 오픈소스 Hive - 하둡 기반의 DataWare House, HDFS에 대용량데이터 ..

1. 인공지능 인공지능이란? 정의 뇌가 수행하는 기능, 특히 지능을 요하는 능력을 컴퓨터가 수행하는 것 역사 컴퓨터 구조정립 > 기호주의 인공지능(computationalism, 규칙기반) > 연결주의 인공지능(connectionalism, 신경망기반) > 순수통계적 인공지능 > 연결주의 인공지능 규칙기반 인공지능의 한계를 해결하고자 신경망기반의 인공지능을 개발함 신경망기반, 딥러닝base 인공지능이 계속 개발 중에 있음 Concept Cognitive Science > Artificial intelligence > Machine Learning > Deep learning >Data mining 관련 영화 및 강의 영상 영화 her, 엑스마키나, 공각기동대, 터미네이터, 리얼스틸, 매트릭스, bicen..

웹 크롤링 웹 페이지의 하이퍼링크를 순회하면서 웹 페이지를 다운로드하는 작업이다. 웹 스크레이핑 다운로드한 웹 페이지에서 필요한 콘텐츠를 추출하는 작업이다. 웹 페이지를 구성하고 있는 HTML 태그의 콘텐츠나 속성의 값을 읽는 작업을 말한다. URL (Uniform Resource Locator) 컴퓨터 네트워크와 검색 메커니즘에서의 자원의 위치를 지정하는 문자열로써, 네트워크 상에서 자원이 어디 있는지를 알려주기 위한 규약이다. URI (Uniform Resource Identity) 웹 사이트에 요청하고자 하는 대상의 패스정보와 파일명이다. 구성 파일명이 생략되면 디폴트로 index.html을 사용한다. HTTP (HyperText Transfer Protocol) 프로토콜: //계정:패스워드@호스트..

목차 지금까지 배운 내용과 tensorflow에서 제공하는 MNIST 데이터 자료를 가지고 CNN을 구현해보되, 이전까지 사용한 것보다 간편한 코드를 사용해본다. Data pre-processing Convolution layer process Fully conndected process 더 나아가기 Data pre-processing 1. 모듈 삽입 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import numpy as np import pandas as pd 2. 데이터 불러오기 mnist = input_data.read_data_sets("./data/mnist", one_hot = True) ..

목차 지금까지 배운 이미지 학습 내용을 가지고 tensorflow에서 제공하는 mnist 이미지 데이터로 학습을 진행해보도록 한다. Data pre-processing Convolution layer process Multi-layer process Data pre-processing 1. 모듈 삽입 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import matplotlib.pyplot as plt import numpy as np 2. 데이터 로딩 raw data를 사용하면 convolution 작업 이전에 데이터 전처리(이상치, 결측치, 정규화)를 비롯하여 test data, train data ..

목차 FC : Fully Connected CNN : Convolutinal Neural Network CNN 기본 개념 FC : Fully Connected Fully Connected layer 혹 Dense layer : 모든 node가 다음 layer의 모든 node에 연결되어서 학습되는 layer 구조를 의미하고, 지금까지 학습한 layer 구조는 모두 여기에 포함된다. Multi-layer multinomial logistic regression 과정에서 이전의 layer 출력값이 다음 layer 입력값으로 사용되는 구조가 이에 해당된다. FC layer 특징 입력 데이터( 예: 한 사람에 대한 데이터 )가 1차원으로 표현되어야 한다. 사실 컬러 이미지는 가로 * 세로 * 깊이(명암) 으로 표..

목차 과적합(overfitting)의 상황을 피하기 위해 고안된 dropout 방식에 대해 알아본다. 과적합 Dropout Dropout 활용 MNIST 예제 과적합 과적합이란? 학습한 모델이 training data set에 최적화되어 있는 상태를 의미하며, 영어로 over fitting 이라고 한다. 달리 말하면, 테스트 데이터에는 잘 들어맞지 않는 상태를 지칭한다. 학습한 모델이 training data set에는 약 98% 이상의 정확도를 가지지만, test data set에 대해서는 85% 정도 수준의 정확도가 나오면 overfitting이라고 규정한다. 과적합을 해결 방법? feature engineering 과정에서 ... 일단 학습하는 데이터 수가 많아야 한다. (개인적으로 제어 가능한 영..

목차 정확도를 높이기 위해서 임의로 설정되도록 한 초기값을 Xavier를 사용하여 설정되도록 한다. Xavier Initialization 그래프 초기화 Xavier 활용 MNIST 예제 Xavier Initialization 가중치 W에 대한 초기값이 랜덤으로 설정될 경우 운에 의해서 학습의 정확도가 달라진다. bias의 경우 상수여서 임의로 설정해도 괜찮지만, W 값의 경우 가중치로써 가설까지 영향을 주기 때문에 중요하다. 이를 보다 효율적으로 설정하기 위해 Xavier initialization, He initialization 초기법이 등장하였으며, 여기서는 Xavier 초기법을 다루어보록 한다. W = tf.get_variable( name = '이름', shape = [n1,n2], initi..