蜘蛛收录规则

robots.txt蜘蛛收录规则文件常用写法

2025-08-05

robots.txt 文件是搜索引擎收录规则文件，告诉搜索引擎哪些是不希望被收录的，可以定义为哪些目录允许搜索引擎抓取，哪些搜索引擎可以抓取，将以下代码根据需求另存为robots.txt存放到网站根目录中，即可生效。 禁止所有搜索引擎收录 User-agent: * Disallow: / 禁止google爬虫 User-agent: Googlebot Disallow: / 禁止百度爬虫...