Contenido

Resumen de cada pestaña de configuración
Ejemplos de configuración de auditoría del sitio
Preguntas frecuentes

El sitio es realizado por nuestro rastreador: AhrefsSite®it. Más información sobre este bot específico aquí.

En Ahrefs, ofrecemos opciones muy completas de cómo se puede llevar a cabo el uso del Sitio, dándole plena flexibilidad y control sobre sus auditorías técnicas del sitio.

Resumen de cada sección de configuración

Primero, dirígete a la configuración del Auditoría del Sitio de tu proyecto. Encontrará tres secciones:

1. Programar

Esto configura cuándo programar auditoría de sitio para rasgar su sitio web regularmente, y con qué frecuencia lo hace. Puede ajustar todo desde el día, hasta la hora y la zona horaria de la que está programada la auditoría del sitio:

Tenga en cuenta que el raspado real puede comenzar en cualquier momento dentro de la hora seleccionada. Si no desea que la auditoría del sitio se ejecute automáticamente, active "Ejecutar Crawls" programado.

2. Fuentes de URL

Las fuentes de URL especifican las "URL de semilla", o las páginas iniciales que la auditoría del sitio intentará visitar primero. Por defecto, sólo se seleccionarán las opciones "Sitio Web" y "Mapas web detectados automáticamente", que es mejor si sólo quieres rascar todas las páginas en el ámbito de este proyecto.

💡 Si solo quieres rastrear las URLs de un mapa del sitio específico, sigue esta guía.

💡 Haz clic en este interruptor para más información sobre las 5 URL fuente o la opción de URL semilla

Sitio web. Marcar esta casilla significa que la auditoría del sitio tomará la URL del proyecto como punto de partida para el raspado. Aka, cualquiera que sea la URL que hayas introducido para el ámbito de este proyecto:
Sitios web detectados automáticamente. Marcar esta casilla significa que Auditoría del Sitio comenzará a rastrear desde los archivos de sitemap listados en el archivo robots.txt de tu sitio web. Si el archivo robots.txt no lista los sitemaps, comprobará las ubicaciones predeterminadas del mapa del sitio:
- <your website>.com/sitemap.xml
- <your website>.com/sitemap_index.xml
Specific sitemaps. Marcar esta casilla le permite comenzar a rastrear desde una lista personalizada de archivos de mapa del sitio. Una caja de entrada para introducir en las URL del mapa del sitio se abrirá una vez que la casilla esté marcada:
Lista de URL personalizada Marcar esta casilla le permite introducir una lista de URLs para la auditoría del sitio desde donde empezar a rastrear, ya sea en el cuadro de entrada proporcionado o subir desde el archivo CSV / TXT. El límite de tamaño de archivo es de 16Mb. Ten en cuenta que solo se rastrearán las URLs dentro del ámbito del proyecto.
A
Volver a los enlaces Marcar esta casilla significa que la auditoría del sitio comenzará a rastrear su sitio web desde las URL que tienen backlinks externos en nuestra base de datos. Puedes comprobar qué urls son ingresando la URL de tu proyecto en el explorador del sitio y revisando su informe de enlaces:

3. Ajustes de rastreo

Hay una lista considerable de opciones de configuración que están disponibles aquí, cada una de ellas tiene consejos que proporcionan más información acerca de cada tooltip:

Haga clic en cada conmutador de abajo para más información sobre cada opción de configuración:

Ajustes de velocidad

Controla la rapidez con que el rastreador "seguir" los enlaces de su sitio web. En el ejemplo de abajo, se sigue un enlace cada 2 segundos.

Ajustes

En los siguientes ajustes de ejemplo:
El raspador no renderizará javascript al comprobar ninguna página. Pero, comprobará los enlaces de imagen, CSS y javascript para cualquier problema.
El raspador también hará clic en los enlaces de las páginas no canónicas, y haga clic en los enlaces nofollow .
El raspador ignorará por completo cualquier enlace fuera del alcance de su sitio web
El crawler también revisará los enlaces exactamente como se encuentran, sin eliminar los parámetros URL

Límites

Esta sección se refiere a umbrales donde el crawler dejará de intentar rascar nuevas páginas. En el ejemplo de abajo, el rastreador se detendrá si cualquier de los límites son alcanzados:

10.000 páginas son arrancadas
El rastreo tarda 48 horas

Y todas las páginas de las siguientes páginas son ignoradas:

Más profundos que 16 niveles de la semilla
Más de 16 carpetas en profundidad
Tiene una URL de más de 2048 caracteres
Tiene más de 12 parámetros de consulta de URL

instrucciones de robots

En esta sección, puede ordenar al rastreador que ignore los robots.txt y cambie el agente de usuario de Desktop a Móvil. La cadena completa de agente de usuario para ambos se puede encontrar en AhrefsSitecope es su propia página.

Esta característica sólo está disponible para proyectos verificados. Es útil para la auditoría de partes del sitio web que pueden ser rechazadas por bots.

Autenticación

Esta función está disponible para suscriptores avanzados y superiores. Si su sitio web está protegido con contraseña de autenticación HTTP, puede activar el interruptor e introducir la contraseña para que nuestro rastreador lo utilice cuando se rasca el sitio web.

PageSpeed Insights

PageSpeed Insights (PSI) ayuda a puntuar la velocidad y experiencia del usuario de una página web. La auditoría del sitio marcará cualquier página donde la puntuación PSI sea baja. Necesitarás introducir tu API desde Google para utilizar esta función.

Incluya y excluya URLs

Utilice esto si desea rascar páginas muy específicas, o evitar rasgar páginas específicas usando expresiones regex. Ver este artículo más información sobre cómo usar regex, y algunos ejemplos que puede probar.

Ten en cuenta que solo se aceptarán expresiones regulares. Si los datos introducidos en el cuadro no forman una expresión regex válida, se ignorará. Por favor, no ingrese en líneas en blanco en el cuadro.

reglas de reescritura de URL

Puedes ver ejemplos de cómo utilizar este campo (especialmente con expresiones regulares) aquí.

Preguntas frecuentes

Soy nuevo en el Sitio tú. ¿Qué ajustes debo usar?

Si usted desea rascar completamente su sitio web, puede dejar la configuración por defecto tal y como están. Recomendamos que la opción "Ejecutar Javascript" se active en el caso de que su sitio web utilice javascript para generar el contenido en sus páginas. Si aún no estás seguro, puedes ponerte en contacto con nuestro equipo de soporte por correo electrónico o por Live Chat.

Hice cambios en la configuración de la auditoría del sitio, pero nada cambió en mis informes de auditoría del sitio. ¿Por qué?

Cualquier cambio en la configuración del proyecto guardada solo se aplicará a la nueva auditoría del sitio. Las auditorías de sitios pasadas o continuas no se verán afectadas.

Los datos de Site Explorer para mi sitio web son incorrectos o incompletos. ¿Es porque no estoy raspando el sitio web correctamente en el sitio de práctica?

Crawling in Site Audit no actualiza ningún dato en Site Explorer. Los datos del explorador del sitio están poblados por AhrefsBot, un rastreador diferente del del sitio que lo tiene. Si el sitio web es nuevo, puede tomar algo de tiempo para que nuestro rascacielos llegue a él. De lo contrario, por favor revisa tu sitio web aquí para ver si hay problemas con nuestro rastreador visitando tu sitio web.