Robots.txt文件用法举例

禁止所有搜索引擎访问网站的任何部分User-agent: * Disallow: /