基本说明
User-agent:百度(Baiduspide) 谷歌(Googlebot) 360(360Spider) * 代表所有搜索引擎
Disallow: 不允许收录xxURL
Allow: 允许收录xxURL
#:注释内容
屏蔽所有搜索引擎
User-agent:*
Disallow:/
sitemap在robots位置 最后放在最后面
Sitemap: http://tool.apizl.com/sitemap.xml
Sitemap: http://tool.apizl.com/sitemap.html
关键字词:
