웹 캡처 및 변환 도구

GrabzIt의 Web Scraper는 robots.txt 파일을 존중합니까?

우리의 웹 스크레이퍼는 웹사이트의 robots.txt 파일에 있는 규칙을 준수해야 합니다. 이에 대한 주된 이유 중 하나는 좋은 것 외에 robots.txt 파일을 따르지 않는 웹 스크래퍼가 허니팟 서비스에 의해 블랙리스트에 포함될 수 있다는 것입니다.

이러한 서비스는 robots.txt를 사용하여 웹 스크래퍼에게 웹사이트에서 링크된 특정 파일을 방문하지 않도록 지시합니다. 웹 스크레이퍼가 여전히 파일을 방문하는 경우 웹 스크레이퍼 IP 주소가 블랙리스트에 등록되어 향후 웹 스크레이퍼가 웹 사이트를 방문하는 것을 방지합니다.