[1과목] 데이터수집 및 저장 계획 - 데이터 수집 절차

네이버 카페 "이기적스터디카페" 빅데이터 분석기사 - 핵심 요약집을 참고하였습니다. 
정확한 내용은 아래 링크를 참고하세요. 

 

https://cafe.naver.com/yjbooks/8223

[1과목] 데이터수집 및 저장 계획 - 데이터 수집 절차

 

1. 데이터 수집(Data Collection) 개요

데이터 처리 시스템에 들어갈 데이터를 모으는 과정으로 여러 장소에 있는 데이터를 한 곳으로 모으는 것이다. 

 

 

2. 기초 데이터 수집 수행 절차

[출처 : 이기적스터디카페]

 

3. 데이터 수집 시스템 구축 절차

[출처 : 이기적스터디카페]

 

4. 데이터 수집 기술

데이터 유형	데이터 수집 기술	수집 방법
정형 데이터	Sqoop, Vendor 제공 Driver, API	수집프로그램, Socket 프로그램 이용
로그/센터 데이터	Flume, Scribe, Shukwa, FTP, TCP, 블루투스, RFID	수집프로그램 이용, FTP 수집, 스트리밍 수집
텍스트, 이미지, 동영상 데이터	HTTP, FTP, API, Parsing 기술	FTP, API 이용하여 수집
웹 및 소셜 데이터	Pure 프로그래밍(C, Java), Library, Scrapy, Nutch, Crawler4j	크롤러를 이용한 수집