Ahrefs opera nosso próprio web crawler (conhecido como AhrefsBot) que visita milhões de sites para recuperar informações e armazená-las em nossos registros. É assim que o Ahrefs constrói seu enorme índice de links.
AhrefsBot respeita estritamente o robots.txt, tanto nas regras de permissão quanto nas de não permissão. Dessa forma, é possível controlar o comportamento do AhrefsBot modificando o robots.txt.
Pelo que sabemos, sites como Quora, LinkedIn e Slideshare têm uma das seguintes situações:
impediu-nos de realizar o crawl, ou
permitiu apenas uma parte do crawl do site deles.
Esta é a principal razão pela qual os backlinks desses sites (dofollow/nofollow) não são mostrados no relatório de backlinks do Ahrefs.
Quanto aos arquivos PDF, AhrefsBot não os rastreia em busca de links, metadados, etc.