💡 Un guide complet sur la façon dont Ahrefs explore et indexe le Web sur notre guide "Comment utiliser Ahrefs" dans notre académie.
En termes simples, un explorateur (ou une araignée) est un programme informatique qui navigue pas à pas sur le Web.
Il commence par indexer une liste initiale d'URL (dites « graines »).
Lorsqu'il trouve tous les hyperliens que contiennent les seeds, il les ajoute à la liste des URLs qu'il indexera ensuite. Une fois ajouté, l’explorateur visite ces nouvelles pages et répète tout le processus à nouveau.
Notre AhrefsBot explore le web en suivant strictement les règles de robots.txt. Plus de détails ici: https://ahrefs.com/robot