웹 캡처 및 변환 도구

GrabzIt의 Web Scraper는 robots.txt 파일을 존중합니까?

우리의 웹 스크레이퍼는 웹 사이트 robots.txt 파일에있는 규칙을 준수해야합니다. 좋은 것 이외의 주된 이유 중 하나는 robots.txt 파일을 따르지 않는 웹 스크레이퍼가 허니팟 서비스에 의해 블랙리스트에 올 수 있다는 것입니다.

이러한 서비스는 robots.txt를 사용하여 웹 스크레이퍼가 웹 사이트에서 링크 된 특정 파일을 방문하지 않도록 지시합니다. 웹 스크레이퍼가 여전히 파일을 방문하면 웹 스크레이퍼 IP 주소가 블랙리스트에 추가되어 웹 스크래퍼가 나중에 웹 사이트를 방문하지 못하게합니다.