웹 캡처 및 변환 도구

2019년 대규모 웹 스크레이퍼 개선 사항

월 08 2019

재설계 및 수많은 버그 수정 외에도 GrabzIt의 웹 스크레이퍼를 대폭 개선했습니다. 여기에는 다음이 포함됩니다.

  • CSS 스타일에 포함된 콘텐츠 추출 지원
  • 이제 스크레이핑이 실행되는 국가를 선택할 수 있습니다. 현재 선택지는 미국 또는 영국입니다.
  • 이제 robots.txt 규칙을 준수할지 여부를 선택할 수 있습니다. 기본적으로 긁힌 자국은 발생합니다.
  • 이제 상대 데이터를 자동으로 연결할 수 있습니다. 이는 일부 HTML 요소에 대해서는 존재하지만 다른 요소에는 존재하지 않는 데이터가 있을 때 유용합니다. 해당 항목을 함께 연결하면 결과 데이터 세트의 올바른 데이터 항목에 대해 값이 표시됩니다.
  • 데이터 세트를 생성할 때 다양한 열이 다양한 템플릿에 속할 수 있습니다. 즉, 일부 열은 한 페이지 유형에서 채워지고 다른 열은 다양한 페이지 유형에서 채워질 수 있습니다. 이에 대한 한 가지 예로는 제품 목록 페이지와 제품 세부 정보 페이지가 있습니다. 이를 통해 목록 페이지에서 광범위한 세부 정보를 얻은 다음 제품 세부 정보 페이지에서 자세한 정보를 얻을 수 있습니다.
  • 데이터 세트 빌더가 개선된 또 다른 방법은 포함, 미만 등의 작업 효과를 전체 또는 일부 열에 적용할 수 있도록 하는 것입니다.
  • 몇 가지가 있습니다 새로운 명령 스크랩 마법사에서 사용할 수 있습니다.
    • 삭제 – 이제 요소를 삭제할 수 있습니다. 이는 일부 상황에서 동일한 요소가 여러 번 읽히지 않도록 하는 데 유용합니다.
    • 스크롤 – 웹 스크레이퍼는 이제 이를 지원하는 HTML 요소를 스크롤할 수 있습니다.
    • 호버 – 이 명령은 지정된 요소 위에 마우스를 올려 정보를 표시하는 데 유용할 수 있습니다.
    • 페이지 매김 – 이는 클릭 동작의 새로운 기능으로, 선택한 페이지 매김 링크에서 페이지 매김이 자동으로 수행되도록 합니다. 이는 스크레이퍼가 페이지가 매겨진 데이터의 어딘가에서 클릭하더라도 스크랩의 일부로 현재 페이지가 매겨진 페이지로 돌아가서 스크랩을 계속한다는 것을 의미합니다.
  • GrabzIt의 가장 좋은 점은 웹 스크레이퍼 매달 무료로 사용할 수 있다는 점이에요. 무엇을 기다리고 계시나요? 한 번 해보고 피드백을 보내주시면 최고의 온라인 웹 스크레이퍼로 만들고 싶습니다!

최신 블로그 게시물보기