Disallow与Allow组合时如何精确控制抓取范围
Disallow与Allow组合使用时，需要明确每条User-agent记录的生效范围，并注意路径前缀匹配的精确性。
明确User-agent记录的生效范围
在robots.txt文件中，User-agent记录用于指定搜索引擎爬虫。如果存在多条User-agent记录，每条记录及其后的Disallow和Allow行仅对指定的爬虫生效。例如，添加User-agent:SomeBot及其限制规则，只会影响名为SomeBot的爬虫，不会影响其他爬虫。
User-agent字段支持使用通配符*，表示对所有爬虫生效。但需要注意的是，User-agent:*这样的记录在文件中只能有一条。如果有多条User-agent:*记录，后续的记录可能会覆盖前面的记录，导致配置混乱。因此，在编写robots.txt时，应确保User-agent:*记录的唯一性。
利用Disallow路径前缀禁止访问
Disallow项用于描述不希望被访问的URL集合。其值可以是完整路径，也可以是路径的非空前缀。以Disallow项值开头的URL将被禁止访问。例如，Disallow:/help会禁止访问/help.html、/helpabc.html和/help/index.html等所有以/help开头的路径。
需要注意的是，Disallow的匹配是精确的前缀匹配。如果路径以Disallow的值开头，则会被禁止。例如，Disallow:/help/只禁止以/help/开头的路径，如/help/index.html，而不会禁止/help.html或/helpabc.html。这种特性可以用于精确控制特定目录或文件的访问权限。
使用Allow与Disallow配合实现部分访问
Allow项用于描述希望被访问的URL集合，其作用与Disallow类似，可以指定完整路径或路径前缀。由于网站的所有URL默认是允许访问的，Allow通常与Disallow搭配使用，以实现允许访问一部分网页同时禁止访问其它所有URL的功能。
在使用Allow和Disallow组合时，需要注意规则的顺序和优先级。通常，先设置Disallow禁止所有路径，然后使用Allow允许特定的路径。例如，先设置Disallow:/，然后设置Allow:/public，这样就可以只允许访问/public目录下的内容，禁止访问其他所有内容。
注意大小写敏感与精确匹配
百度会严格遵守robots协议，并对robots中写的文件和不想被抓取的目录进行精确匹配。这意味着路径的大小写必须完全一致才能生效。例如，Disallow:/Help与Disallow:/help是不同的规则，前者不会影响后者匹配的路径。
如果robots.txt中的路径与实际目录路径的大小写不一致，robots协议将无法生效。因此，在编写robots.txt时，应确保路径的大小写与网站目录结构完全一致。此外，还应避免使用通配符*和$进行模糊匹配，除非确实需要，因为精确匹配是robots协议生效的基础。
资料与延伸阅读
你可以通过以下原始资料核对文中概念，并继续深入阅读。