z2soo's Blog

1. 빅데이터의 등장 IT에서 패러다임이 바뀌게 되는 중요한 사건들애는 1980년 초 PC 등장, 1990년 초 www internet 등장, 2007년 smart phone 등장 (외국에서는 스마트폰을 사용할 때, 한국은 아직 준비가 되지 않은 시기로 2년정도 나름의 쇄국정책을 취했음) 과 같은 것들이 있다. 이 때부터 정보 저장능력이 정보 발생량을 감당할 수 없는 상태가 되고, big data라는 신조어가 등장하게 되었다. 초기의 정의는 단순하게 ‘규모가 큰 데이터’ 였다. 그 내부에서 비즈니스 적인 가치를 얻고자 하면서 다양성 (정형, 반정형, 비정형)과 같은 의미를 부여하게 되었다. 빅데이터를 통해 얻고자 하는 것은 insight, 변화에 대한 예측이라는 점 잊지말자. 기존 3V 정의에서 최근에는..

1. 빅데이터 소프트웨어 종류 S/W 설명 비고 하둡 HDFS - 하둡 분산 파일시스템 - 대용량 데이터를 다수의 데이터노드에 분산하여 저장 (1pb 데이터를 128tb 크기로 쪼개서 저장) - 데이터 가용성을 보장 오픈소스 NoSQL-HBase - HDFS 기반의 Semi-Structured 데이터 저장소 - 정형 및 비정형 대용량 데이터를 저장 오픈소스 하둡 MapReduce - HDFS 기반의 대용량 데이터 배치 병렬처리 중심 시스템 - 프레임워크(개발환경)를 제공 - Key, Value 쌍의 데이터 구조(Map)를 사용해 데이터 저장 - 분산된 노드간에 데이터가 이동하는 것이 아닌 소스가 이동하여 데이터를 가공 오픈소스 Hive - 하둡 기반의 DataWare House, HDFS에 대용량데이터 ..