robots.txt 中 Allow 与 Disallow 的优先级规则
robots.txt 中 Allow 与 Disallow 的优先级规则决定了蜘蛛访问权限，本篇解释具体匹配逻辑。
理解 Allow 与 Disallow 的基础语法
Disallow 指定不想被访问的 URL 路径，Allow 指定希望被访问的 URL 路径。Disallow 的值可以是完整路径或路径前缀，以该值开头的 URL 不会被 robot 访问。例如 Disallow:/help 会禁止访问 /help.html、/helpabc.html 等路径。Allow 的值同样可以是完整路径或前缀，以 Allow 值开头的 URL 是允许 robot 访问的。一个网站的所有 URL 默认是 Allow 的，因此 Allow 通常与 Disallow 搭配使用。
robots.txt 文件中至少要有一条 User-agent 记录，且至少要有一条 Disallow 记录。如果 User-agent 为 *，则对任何 robot 均有效，且该记录只能有一条。如果 User-agent 设为特定名字，则只有该特定 robot 受到限制。文件中的记录通过空行分开，可以使用 # 进行注解。百度会严格遵守 robots 协议，并对文件和目录做精确匹配，区分大小写。
分析优先级匹配的执行顺序
蜘蛛在访问网站时，会根据 User-agent 指定的规则进行匹配。对于特定的 User-agent，蜘蛛会按照文件中出现的顺序检查每一条记录。通常规则是先检查 Disallow，再检查 Allow，或者根据规则的具体组合来决定最终权限。如果存在多条 Disallow 或 Allow 规则，蜘蛛会综合判断哪些 URL 被允许或禁止。例如，Disallow:/admin/ 会禁止访问 /admin/index.html，但 Allow:/admin.html 可能会允许访问该特定文件。
当 Allow 和 Disallow 同时作用于同一个 URL 时，蜘蛛会根据规则的优先级和匹配范围来决定。由于默认所有 URL 是 Allow 的，Disallow 通常用于限制特定范围。如果一条 Disallow 规则禁止了一个目录，而另一条 Allow 规则允许了该目录下的特定文件，蜘蛛会根据规则的具体内容和顺序来执行。这种组合使用可以实现只抓取特定部分的功能。
使用通配符 * 和 $ 进行模糊匹配
Baiduspider 支持使用通配符 * 和 $ 来模糊匹配 URL。* 匹配 0 或多个任意字符，$ 匹配行结束符。这使得 robots.txt 可以更灵活地控制抓取范围。例如，Disallow:/help/* 可以禁止访问 /help/ 下的所有子路径，而 Allow:/help$ 可能只允许访问根目录下的 help 文件。这种组合可以精确控制哪些 URL 被允许或禁止。
在使用通配符时，需要注意规则的顺序和匹配逻辑。由于 * 可以匹配任意字符，一条包含 * 的规则可能会覆盖多条具体的规则。因此，在编写 robots.txt 时，应将通配符规则放在具体规则之后，或者根据实际需求调整规则顺序。确保规则能够精确匹配目标 URL，避免误伤或遗漏。
验证 robots.txt 生效情况的检查步骤
可以通过百度搜索资源平台的 robots 工具来创建、校验、更新 robots.txt 文件，并查看其在百度生效的情况。首先，在网站根目录下创建 robots.txt 文件，并按照上述规则编写内容。然后，登录百度搜索资源平台，找到 robots 工具，输入网站地址进行检测。工具会显示 robots.txt 文件的内容和格式是否正确，以及是否被百度 spider 正确识别。
为了验证优先级规则是否生效，可以模拟不同的 URL 访问。例如，先设置 Disallow:/test/，然后设置 Allow:/test.html。通过抓取诊断工具或日志分析，检查 spider 是否能够访问 /test.html 但无法访问 /test/ 下的其他文件。如果结果符合预期，说明优先级规则配置正确。如果不符合，需要检查规则顺序和语法。
资料与延伸阅读
你可以通过以下原始资料核对文中概念，并继续深入阅读。