JSON1 📜 크롤링을 시작하기 전에 알아야 할 용어 정리 📑 목차크롤링이란 무엇인가? 스파이더와 봇의 역할 파싱과 데이터 추출 웹 기술: HTML, CSS, XPath JSON과 API 활용 사용자 에이전트와 윤리적 고려사항크롤링이란 무엇인가?크롤링은 웹사이트에서 데이터를 자동으로 수집하는 과정을 말합니다. 마치 거미가 웹을 기어 다니며 정보를 모으는 모습에서 이름이 유래되었죠 . 초보자에게는 낯설 수 있지만, 데이터 분석이나 연구를 위해 필수적인 기술입니다. 크롤링은 주로 봇(Bot)이나 스파이더(Spider)라는 프로그램이 수행하며, 웹 페이지의 텍스트, 링크, 이미지 등을 읽어 데이터베이스에 저장합니다.예를 들어, 구글 검색 엔진은 크롤링을 통해 수많은 웹 페이지를 수집하고, 이를 기반으로 검색 결과를 제공합니다 . 하지만 크롤링은 단순히 데이터를 긁어.. 2025. 2. 25. 이전 1 다음
