跳转到主要内容

如何设置 Site Audit 仅抓取站点地图内的页面

本文介绍了如何设置 Site Audit 专门抓取网站地图中的页面(适用于新项目和现有项目)

作者:Matt

适用于新项目

步骤1

创建一个新项目并在范围和所有权部分填写数据(如果你想了解更多关于如何创建新项目的信息,请阅读本文)。

进入 Site Audit 部分后,请前往URL 资源标签页,并仅选中 特定站点地图选项。

在下面的文本字段中输入你的网站地图网址(你也可以为多个网站地图包含多个网址)。

仅勾选特定网站地图选项,输入网站地图 URL。

这将告诉我们的爬虫从你的网站地图开始抓取。

在点击继续之前,请确保除了特定站点地图之外的每个选项都未勾选。

步骤2

前往 Site Audit 中的下一个标签页,即抓取设置。

找到最大深度级别选项并将其设置为 0。

找到最大深度级别选项并将其设置为 0。

这将指示我们的爬虫不超过网站地图中找到的网址。

步骤3

现在,你可以点击继续以完成新项目设置的 Site Audit 部分。

在项目创建向导的下一个部分中填写其余所需信息,并等待你的抓取完成。

抓取完成后,在抓取日志中你可能会看到已知 URL的数量高于抓取 URL的数量 - 这是正常的。 抓取的 URL 是项目范围内的,而所有已知的 URL 也包括被丢弃的 URL(后者的数量在大多数情况下会更高)。

已知 URL 的数量可能高于抓取 URL 的数量。

为了确保只有你的网站地图中包含的页面被抓取,你可以进入 Site Audit 的页面浏览器部分并设置过滤器为在网站地图中 = 是。 结果页面数应等于抓取页面的数量。

进入 Site Audit 的页面浏览器部分并设置过滤器为 在网站地图中 = 是。

适用于现有项目

请注意,变更现有项目中的抓取范围可能会极大影响 Site Audit 的指标。 如果你只想获取最新数据,可以删除一个项目并创建一个新设置的项目(删除项目还会删除 Rank Tracker 中的已跟踪关键词并删除任何现有 Alerts)。

若要更改现有项目中的 Site Audit 设置:

步骤1

从 Site Audit 仪表板中,点击项目旁边的垂直省略号并点击设置。 这将带你进入 Site Audit 设置。

点击设置以访问 Site Audit 设置。

进入设置后,点击右侧面板中的Site Audit。 在下次抓取中仅包含网站地图的步骤,与新项目中说明相同。

点击 Site Audit 以设置你的 URL 资源。

步骤2

为了让你的变更生效,Ahrefs 需要运行新抓取,并使用新设置。 在 Site Audit 中点击你的项目然后点击 新抓取 按钮。 请等待我们的机器人抓取你的网站。 你将能够在抓取日志中看到结果。

在 Site Audit 中运行新的抓取

相关:

这是否解答了您的问题?