Passer au contenu principal
Toutes les collections
Comment les araignées SEO explorent la toile ?
Comment les araignées SEO explorent la toile ?

Apprenez comment SEO araignées ou crawlers, croiser et indexer le Web.

May avatar
Écrit par May
Mis à jour cette semaine

💡 Un guide complet sur la façon dont Ahrefs explore et indexe le Web sur notre guide "Comment utiliser Ahrefs" dans notre académie.

En termes simples, un explorateur (ou une araignée) est un programme informatique qui navigue pas à pas sur le Web.

Il commence par indexer une liste initiale d'URL (dites « graines »).

Lorsqu'il trouve tous les hyperliens que contiennent les seeds, il les ajoute à la liste des URLs qu'il indexera ensuite. Une fois ajouté, l’explorateur visite ces nouvelles pages et répète tout le processus à nouveau.

Notre AhrefsBot explore le web en suivant strictement les règles de robots.txt. Plus de détails ici: https://ahrefs.com/robot

Avez-vous trouvé la réponse à votre question ?