z2soo's Blog

웹 크롤링 웹 페이지의 하이퍼링크를 순회하면서 웹 페이지를 다운로드하는 작업이다. 웹 스크레이핑 다운로드한 웹 페이지에서 필요한 콘텐츠를 추출하는 작업이다. 웹 페이지를 구성하고 있는 HTML 태그의 콘텐츠나 속성의 값을 읽는 작업을 말한다. URL (Uniform Resource Locator) 컴퓨터 네트워크와 검색 메커니즘에서의 자원의 위치를 지정하는 문자열로써, 네트워크 상에서 자원이 어디 있는지를 알려주기 위한 규약이다. URI (Uniform Resource Identity) 웹 사이트에 요청하고자 하는 대상의 패스정보와 파일명이다. 구성 파일명이 생략되면 디폴트로 index.html을 사용한다. HTTP (HyperText Transfer Protocol) 프로토콜: //계정:패스워드@호스트..