z2soo's Blog

자료구조와 함께 배우는 알고리즘 입문(파이썬) Do it! 자료구조와 함께 배우는 알고리즘 입문 : 파이썬 편 213개의 그림과 함께 저자의 친절한 설명으로 개념을 쉽게 이해할 수 있다. 이를 바탕으로 136개의 파이썬 실습 예제로 직접 코딩하며 개발 능력을 키울 수 있다. 눈으로 읽고, 코드를 한 줄씩 입 www.aladin.co.kr 데이터 분석, 머신러닝을 배우면서 처음 접했고 당시에는 스터디까지 하면서 나름(?) 열심히 공부한게 바로 알고리즘이다. 몇 년을 파이썬을 사용하지 않는 일을 하다가, 더 늦기 전에 인공지능 일반 대학원을 준비하고 싶어서 다시 처음부터 시작해본다. 포트폴리오를 준비하는 것 보다도 우선 코드에 다시 친숙해지는게 더 중요하다고 생각하면서ㅎㅎ 매일 공부한 진도는 이 포스트에 업..

1. 빅데이터의 등장 IT에서 패러다임이 바뀌게 되는 중요한 사건들애는 1980년 초 PC 등장, 1990년 초 www internet 등장, 2007년 smart phone 등장 (외국에서는 스마트폰을 사용할 때, 한국은 아직 준비가 되지 않은 시기로 2년정도 나름의 쇄국정책을 취했음) 과 같은 것들이 있다. 이 때부터 정보 저장능력이 정보 발생량을 감당할 수 없는 상태가 되고, big data라는 신조어가 등장하게 되었다. 초기의 정의는 단순하게 ‘규모가 큰 데이터’ 였다. 그 내부에서 비즈니스 적인 가치를 얻고자 하면서 다양성 (정형, 반정형, 비정형)과 같은 의미를 부여하게 되었다. 빅데이터를 통해 얻고자 하는 것은 insight, 변화에 대한 예측이라는 점 잊지말자. 기존 3V 정의에서 최근에는..

1. 빅데이터 소프트웨어 종류 S/W 설명 비고 하둡 HDFS - 하둡 분산 파일시스템 - 대용량 데이터를 다수의 데이터노드에 분산하여 저장 (1pb 데이터를 128tb 크기로 쪼개서 저장) - 데이터 가용성을 보장 오픈소스 NoSQL-HBase - HDFS 기반의 Semi-Structured 데이터 저장소 - 정형 및 비정형 대용량 데이터를 저장 오픈소스 하둡 MapReduce - HDFS 기반의 대용량 데이터 배치 병렬처리 중심 시스템 - 프레임워크(개발환경)를 제공 - Key, Value 쌍의 데이터 구조(Map)를 사용해 데이터 저장 - 분산된 노드간에 데이터가 이동하는 것이 아닌 소스가 이동하여 데이터를 가공 오픈소스 Hive - 하둡 기반의 DataWare House, HDFS에 대용량데이터 ..