Sites ricos em JavaScript como aqueles construídos com ferramentas como React, AngularJS, Ember, Vue, e outros podem ser difíceis de rastrear, uma vez que os links internos geralmente não são encontrados no código HTML. Neste tipo de site, um rastreador HTML normal não é suficiente. Se você pegar como exemplo o site EmberConf e visualizar o código HTML, não encontrará nenhuma tag <a> lá. Mas quando visto no navegador, há de facto alguns links internos.
Para rastrear este tipo de site, precisaríamos renderizar a página HTML num navegador web para obter o DOM HTML totalmente formado, e só então podemos obter os links para descobrir as páginas internas. É exatamente isso que o novo Dynamic Crawler faz: renderiza cada página web usando um navegador Chrome headless internamente.
Como utilizador pro, você pode agora executar relatórios de validação para sites ricos em JavaScript e tê-los devidamente rastreados. Tudo o que precisa é ativar a nova opção avançada Dynamic Crawler e nós fazemos o resto por você.
Recomendamos usar este novo rastreador apenas em sites que não podem ser rastreados com o Static Crawler padrão, uma vez que é mais lento e consome 1 crédito por página web rastreada. Por exemplo, se o seu site rico em JavaScript implementa renderização do lado do servidor, ou você pode usar um sitemap XML ou fornecer manualmente uma lista de URLs iniciais, poderá não precisar de usar o Dynamic Crawler.