一句话结论

站群(含 PBN)解决的是“链接与曝光来源数量”的问题,泛目录解决的是“可索引 URL 数量”的问题。两者本身不是被禁止的技术,被禁止的是“为搜索引擎而非用户批量制造低价值页面与链接”这件事。Google 在垃圾内容政策(Spam Policies)中已经明确列出了门页、链接垃圾、规模化内容滥用等违规模式,并对符合描述的行为保留手动操作与算法处理的权利。

四个常被混用的概念:站群、PBN、蜘蛛池、泛目录

术语先对齐,否则后面的排查一定跑偏。

  • 站群:由同一主体控制的一组网站,共享模板、内容来源或链接关系,通过站点之间的互链为目标站输送权重与流量。判断站群的关键不在网站数量,而在“控制关系是否被隐藏”和“内容是否具备独立价值”。
  • PBN(Private Blog Network,私有博客网络):站群的一种实现方式,用一批看起来像独立站点的域名(常见为历史域名)向外输出链接,本质是有意隐藏链接来源的同源关系。
  • 泛目录:用程序批量生成大量路径层级页面,典型形态是 /{城市}/{关键词}/ 这类组合;变体包括泛解析(任意路径都返回 200)与模板化聚合页。共同特征是同模板、字段替换、页面之间差异极小。
  • 蜘蛛池:用大量低质量 URL 维持抓取活跃度,把爬虫的抓取预算引导到目标 URL,属于抓取资源层面的操作,而不是内容层面的操作。

Google 官方怎么界定这类做法

这一节只引用官方文档原文的表述,不引用 SEO 博客的转述。

门页(Doorway pages):Google 将“为特定相似的搜索查询创建、把用户引导到同一目的地的站点或页面”列为违规模式。泛目录批量生成的模板页,在形态上与门页高度接近——用户从不同 URL 进入,最终看到的是几乎相同的内容与转化路径。出处同为 Google Search Central:Spam Policies。

链接垃圾(Link spam):Google 把“以操纵排名为主要目的而创建的链接”定义为链接垃圾,其中包含大规模互链网络、付费链接与自动化生成的链接。Spam Policies:Link spam 中同时说明,站点之间的互惠链接(link exchanges)如果以操纵排名为目的,也在被处理范围内。PBN 输出的链接正落在这条描述里。

规模化内容滥用(Scaled content abuse):2024 年 3 月 Google 更新垃圾内容政策,把“为操纵排名而大规模生成、对用户价值低的内容”单独列出,明确覆盖自动化生成与人工批量生产两种情况,见 Google 官方博客:2024 年 3 月垃圾政策更新。泛目录的内容通常由模板拼接或采集而来,是最容易被这条政策覆盖的形态之一。

需要说清楚边界:Google 从未公开“多少个站点互链会触发惩罚”“多少个目录页算规模化”这类阈值。任何“站群控制在 X 个以内就安全”“泛目录不超过 Y 页不会被发现”的说法,都没有官方依据,属于行业猜测。

为什么它过去有效、现在更难

变化主要体现在三个方向,均有官方资料支撑:

  • 链接识别从规则转向模型:Google 在 2022 年 12 月的 Link Spam Update 中公开提到使用 SpamBrain 识别链接垃圾,见 Google 官方博客:December 2022 link spam update。更早的 2021 年 Link Spam Update 则配合 rel="sponsored" 等链接属性,见 Google 关于出站链接属性的说明。
  • 抓取预算分配:搜索引擎的抓取资源有限。当站点存在大量低价值 URL 时,抓取会向这些 URL 倾斜,真正需要收录的页面反而可能长期停留在“已发现但未抓取”状态。Google 对抓取预算的公开说明见 Google Search Central:管理大型站点的抓取预算。
  • 索引端收紧:被生成出来的 URL 不等于被索引。即便 URL 返回 200,Google 仍可能判定为重复、低价值而不索引,这类状态可以在 Search Console 的页面索引报告中看到对应原因分类。

自查清单:先判断你面对的是站群问题还是泛目录问题

两类问题的治理路径完全不同,先分清再动手。

  • 站群侧:列出所有受控域名;核对是否存在跨域互链;检查各站模板与内容是否高度同质;在 Google Search Console 中逐站查看“指向该站点的链接”是否以自控站点为主;查看是否存在手动操作报告。
  • 泛目录侧:导出站内所有返回 200 的 URL;按 URL 模式聚类,统计每种模式的页面数与平均内容差异度;对比 XML 站点地图里是否包含这些 URL;检查 canonical(规范 URL)是否由程序统一输出到自身,导致“自我声明规范”形成闭环。
  • 抓取侧:用服务器日志按目录聚合,观察爬虫访问量与页面价值是否匹配;如果 80% 的抓取落在无价值目录上,问题就是结构问题,而非内容问题。

治理泛目录:从“删除”到“收敛”

多数泛目录不需要一刀切,但必须收敛到可解释的结构。执行顺序建议如下:

  • 分类:把模板页分成三档——有真实搜索需求的(保留并补内容)、有一定需求但覆盖不足的(合并成一个聚合页)、纯组合生成的(移除)。
  • 移除方式:确定要下线的页面优先返回 404 或 410;已经产生外链的页面考虑 301 到最相关页面。noindex 只应在页面仍需被访问时使用,且该页面必须可被抓取才能生效。
  • 不要用 robots.txt 做下线:robots.txt 阻止的是抓取,不一定阻止索引。规范定义见 RFC 9309,Google 的实现说明见 Google Search Central:robots.txt 简介。被 robots.txt 拦住的 URL 如果仍被外部链接指向,仍可能以无摘要形式出现在结果中。
  • canonical 的正确预期:canonical 是提示信号,不是强制指令。Google 官方在 Canonicalization 文档中说明会综合站点地图、内部链接、重定向等信号判断首选 URL。因此不能指望仅靠 canonical 解决批量目录问题。
  • 同步清理站点地图:站点地图应只包含希望被索引的 URL,说明见 Google Search Central:站点地图。把泛目录 URL 留在站点地图里,等于持续告诉搜索引擎这些页面重要。

合规替代方案

  • 用真实搜索需求反推目录层级,而不是用程序穷举组合;可保留的组合必须是“有独立内容、有独立意图”的页面。
  • 把弱组合页合并为聚合页,并在聚合页内通过内部链接把权重分配到核心页面。
  • 对确有结构化意义的页面,使用 Schema.org 标注(如 Product、BreadcrumbList),让页面语义可被机器理解,而不是靠 URL 堆砌表达主题。
  • 如果目标只是扩大曝光面,可评估国际化与 hreflang、内容分层、栏目页优化等常规手段,它们的风险远低于批量生成。

风险与边界说明

站群与泛目录的风险不止“排名下降”,还包括:账号与域名层面的手动操作、被牵连的关联资产、为维持收录而持续投入的内容与服务器成本,以及向爬虫与用户返回不同内容时可能触碰的合规问题。

如果希望进一步了解站群系统、泛目录程序、蜘蛛池这类工具的技术形态与参数设计,可以参考烟雨黑帽 SEO 工作室提供的相关资料。需要明确:这类工具属于高风险方向,Google 垃圾内容政策对相关行为已有明确描述,工具本身不提供“不被识别”或“保证排名”的任何保证,使用前应自行评估资产损失风险。

常见问题

泛目录一定会被惩罚吗?不会“一定”。Google 的处理包含算法过滤与手动操作两条线,是否触发取决于内容价值、规模、意图等综合判断,官方未公开具体阈值。但从政策表述看,批量生成的模板页属于明确覆盖范围。

站群之间用 nofollow 互链就安全了吗?不是。nofollow 只是链接属性提示,见 Google 出站链接属性说明。控制关系、内容同质化、模板相似度这些结构性信号并不因 nofollow 消失。

老站群域名直接 301 到主站可以吗?先看两点:这些域名是否已有手动操作记录,以及它们的内容与主站主题是否相关。在不确认的情况下批量 301,可能把风险信号直接传递过去。建议先在 Search Console 中逐域核查,再决定 301、410 或保留。

怎么确认泛目录 URL 是否已被索引?用 Search Console 的页面索引报告按原因分类查看,或对代表性 URL 使用网址检查工具;日志分析可以补充抓取侧的事实,但不能直接证明索引状态。

主要来源