搜索引擎行业：网站规模扩大后哪些工作不适合继续手工做
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b8c3e1a09d5c.html
📄
搜索引擎行业：网站规模扩大后哪些工作不适合继续手工做
当页面数量、栏目层级和更新频率同时上升，继续用表格和人工点击处理索引与内链，会先出现“同一事实被不同角色理解成不同版本”的问题。判断标准不是工作量大小，而是这项工作是否需要跨页面一致性、可重复执行和可回溯记录；满足其中两项，就应转为规则化或脚本化处理。
先分清两类手工工作：一次性判断与重复性核对
一次性判断适合保留人工，例如某批页面是否值得保留、某个栏目是否应该合并、某类内容是否偏离主题。这类决定依赖业务上下文，写死规则反而容易误伤。重复性核对则不同，例如检查新发布的页面是否都进入可抓取链接、标题是否重复、分页关系是否互相指向、失效链接是否仍被引用。它们的共同点是：判断标准可以事先写清，执行结果可以逐条核对，出错后可以重跑。
当站点只有几十个页面时，人工核对几乎不会漏；当页面进入数百、数千量级，人工核对的问题不是慢，而是无法保证两次执行口径一致。今天由一个人检查标题重复，明天换另一个人，判断边界就可能变化。这种不一致会让后续决策失去可靠依据。
规模扩大后最该停止手工做的三类事
第一类：全站可抓取链接的完整性核对
手工点击只能覆盖少量入口，无法回答“新页面是否都能从某个已收录页面到达”。可转为按模板和栏目批量抽取链接，再与预期页面清单比对。动作上，先确定哪些栏目必须可达，再定期生成差异清单。结果是：新增页面若没有被任何已收录页面引用，会在差异清单里出现，下一步应优先补内链入口，而不是直接提交索引。
第二类：标题、描述与规范化标签的重复检查
这类字段一旦靠人工逐页查看，规模上升后必然出现遗漏。可以按模板批量导出字段值，按重复次数排序。需要注意的是，重复本身不等于错误：分页、筛选页和参数页可能合理地共享部分字段。因此处理顺序应是先确认页面类型，再决定是改写、合并还是保留。这个动作的结果会直接影响后续是调整模板，还是只处理个别页面。
第三类：失效链接与重定向链的定期巡检
人工抽查只能发现被点到的链接。批量巡检可以发现指向已删除页面的内链、经过多次跳转才到达目标的重定向链。动作上，先导出站内引用的链接清单，再与当前有效路径比对。结果是：若大量失效链接集中在同一模板，应修改模板；若分散在历史内容中，则按优先级逐批处理。
两种条件下，选择继续手工还是转为规则化
条件一：页面类型少、更新频率低、责任人固定。此时继续手工核对可以接受，因为口径变化小，出错后也容易回溯。但应保留一份检查记录，写明检查范围和判断标准，否则一旦换人，之前的结论就无法复用。
条件二：页面类型多、更新频繁、多人协作。此时应把重复性核对转为规则化或脚本化。关键不是追求全自动，而是把“判断标准”和“执行动作”分开：标准由人确认，执行由规则完成。这样出现分歧时，可以回到标准本身核对，而不是争论某次手工检查是否漏看。
一个假设例子：某站点有产品页、文章页和筛选页三种类型。人工检查时，三个人对“筛选页标题重复是否算问题”给出不同答案。转为规则化后，先定义筛选页是否允许被索引；若允许，则要求标题包含筛选条件；若不允许，则统一加规范化标签。结果是分歧从“谁记得检查过”变成“规则是否覆盖了这类页面”，后续只需核对规则覆盖范围。
例外：这些工作不要急着交给规则
内容质量判断、栏目是否应该存在、某批页面是否偏离目标用户，这些仍需要人工决定。规则可以辅助列出候选清单，但不能替代判断。另一个例外是临时性活动页面：如果生命周期很短，建立复杂规则的成本可能高于人工处理。此时应明确活动结束后的处理动作，例如保留、合并还是移除，避免活动结束后留下无人负责的页面。
把重复性核对转为规则化后，下一步不是继续增加规则数量，而是定期核对规则是否仍与当前页面类型一致。规则一旦偏离实际结构，批量执行会把小偏差放大。因此，每次站点结构或模板发生较大调整后，应重新确认一次判断标准，再决定是否继续沿用原有处理方式。
