GrabzIt의 웹 스크레이퍼 웹 사이트 링크 확인 및 깨진보고와 같은 다양한 온라인 작업을 수행 할 수 있도록 매우 유연합니다.
가장 먼저 할 일은 긁다 확인하려는 대상 웹 사이트를 지정한 다음 스크랩 지침에 아래 코드를 사용하십시오.
var urls = Page.getTagAttributes('href', {"tag":{"equals":"a"}}); urls = Utility.Array.unique(urls); urls = Utility.Array.filter(urls, Data.readColumn("Links", "URL")); for (i = 0; i < urls.length; i++) { var url = urls[i]; Data.save(Page.getUrl(), "Links", "Found On"); Data.save(url, "Links", "URL"); if (Utility.URL.exists(url)) { Data.save("Found", "Links", "Result"); } else { Data.save("Missing", "Links", "Result"); } }
첫 줄 var urls = Page.getTagAttributes('href', {"tag":{"equals":"a"}});
모든 하이퍼 링크 URL을 추출하여 urls
변하기 쉬운. 다음 줄은 Utility.Array.unique 모든 URL을 고유하게 만드는 방법입니다.
세 번째 줄은 링크를 두 번 확인하지 않기 위해 이전에 있었던 URL을 읽습니다. saved로 추출 된 링크를 필터링하십시오. 모든 페이지에서 링크가 기록되도록하려면이 줄을 삭제하십시오.
URL 데이터가 정리 된 후 나머지 각 URL을 반복하여 데이터 세트 를 사용하여 URL이 존재하는지 확인하기 전에 현재 페이지와 함께 Utility.URL.exists
방법. 이 검사의 결과는 또한 save데이터 세트에서 d.
또는 코드를 교체하여 웹 사이트 이미지가 있는지 확인할 수 있습니다 Page.getTagAttributes('href', {"tag":{"equals":"a"}});
할 수 Page.getTagAttributes('src', {"tag":{"equals":"img"}});
.