又想了想Octopress的robots.txt写法。 现在我的是这样：

1
2
3
4
5
6
7
8

User-agent: *
Disallow: /*?*
Disallow: /archives
Disallow: /javascripts
Disallow: /font
Disallow: /assets
Disallow: /blog
Sitemap: http://baham.co/sitemap.xml

Line 1:对于所有搜索引擎

Line 2:禁止访问所有动态内容（虽然Octopress的文章都是纯净态，但是此处还是加上，比如我在用Cloudflare时，Cloudflare默认就会生成一些带?的缓存链接）

Line 3～7:禁止访问archives,javascripts,font,assets,blog目录，archives是归档内容，blog目录下是归档内容以及分类内容和页号内容，由于更新较频繁，建议禁止。

Line 8: sitemap地址

The Original Link: http://baham.github.io/01_11_octopress-robots-dot-txtxie-fa.html
If you want to reprint it, please do under the CC BY-NC-SA 4.0