z2soo's Blog

1. 빅데이터 소프트웨어 종류 S/W 설명 비고 하둡 HDFS - 하둡 분산 파일시스템 - 대용량 데이터를 다수의 데이터노드에 분산하여 저장 (1pb 데이터를 128tb 크기로 쪼개서 저장) - 데이터 가용성을 보장 오픈소스 NoSQL-HBase - HDFS 기반의 Semi-Structured 데이터 저장소 - 정형 및 비정형 대용량 데이터를 저장 오픈소스 하둡 MapReduce - HDFS 기반의 대용량 데이터 배치 병렬처리 중심 시스템 - 프레임워크(개발환경)를 제공 - Key, Value 쌍의 데이터 구조(Map)를 사용해 데이터 저장 - 분산된 노드간에 데이터가 이동하는 것이 아닌 소스가 이동하여 데이터를 가공 오픈소스 Hive - 하둡 기반의 DataWare House, HDFS에 대용량데이터 ..