|
Post by account_disabled on Jan 27, 2024 1:55:01 GMT -5
的文件或至少是重要的文件对所有搜索引擎机器人都不可见。此禁止指令滥用可能会导致整个网站出现渲染问题。为了检查它是否适用于这种情况我使用了的移动设备友好测试。该工具可以让您深入了解渲染的源代码和移动设备上渲染页面的屏幕截图从而帮助您解决渲染问题。我前往更多信息部分检查是否有任何页面资源无法加载。使用上的产品页面之一的示例您可能会发现它需要特定的文件才能完全呈现。不幸的是这不可能发生因为整个文件夹在其中被阻止。 但让我们看看这些渲染问题是否影响了网站的索引。我使用命令来检 电话数据 查分析页面的主要内容产品描述是否已在上建立索引。如您所见没有找到结果这是一个有趣的案例谷歌可以访问网站的主要内容但没有对其建立索引。为什么由于阻止了其因此无法正确查看页面的布局。即使爬虫可以访问主要内容他们也不可能了解该内容在页面布局中的位置。让我们看一下移动设备友好测试中的屏幕截图选项卡。这就是当阻止爬虫访问和资源时爬虫查看页面布局的方式。它看起不同对吗布局对于了解页面的上下文至关重要。 如果您想更多地了解网络技术和布局的十字路口我强烈建议您研究一个称为渲染的技术新领域。获奖者证明组织良好的文件可以帮助您控制网站的抓取。关键是有意识地使用指令。尽管使用指令阻止单个文件但它似乎不会影响网站的渲染过程。这里需要注意的重要一点是它们仅阻止单个文件不会影响网站上的其他路径。因此它们使用的所有其他和资源应该仍然可供爬虫访问。拥有一个大型电子商务网站您可能很容易忘记所有添加的指令。
|
|