谷歌 Googlebot 无法访问 robots.txt 文件怎么办？

谷歌 Googlebot 无法访问 robots.txt 文件怎么办？

2013年10月31日 | WordPress | 浏览 17,846 | 暂无评论

意外收到电子邮件说，谷歌 Googlebot 无法访问我的网站 (http://hykloud.com/)，并说过去的24小时内，谷歌在试图访问你的 robots.txt 文件时遇到23个错误。(Over the last 24 hours, Googlebot encountered 23 errors while attempting to access your robots.txt. )。

根据网上别人的经验，一两年内偶然收到一两封这样的邮件没什么大不了的，不必忙乱，如果你连续几天都收到这种邮件的话，才需要采取行动。

WordPress 网站中的 robots.txt 是一个虚拟文件，在根目录下你看不到这个文件，它是动态产生的。当然，如果你在根目录下手动创建一个 robots.txt 文件，它将取代动态产生的此文件。

有人喜欢手动创建 robots.txt 文件，因为它加载快，易于修改。当然，如果你喜欢虚拟文件并想修改它也是可以的，在 includes 文件夹内打开 functions.php 文件，找到（大该在1720行）：

function do_robots() {

编辑下面这段代码即可：

do_action( 'do_robotstxt' );

if ( '0' == get_option( 'blog_public' ) ) {
echo "User-agent: *\n";
echo "Disallow: /\n";
} else {
echo "User-agent: Googlebot-Image\n";
echo "Disallow: /\n";
echo "\n";
echo "\n";
echo "User-agent: *\n";
echo "Disallow: /*.js$\n";
echo "Disallow: /*.css$\n";
echo "Disallow: /cgi-local/\n";
echo "Disallow: /wp-admin/\n";
echo "Disallow: /wp-includes/\n";
echo "\n";
echo "Sitemap: http://mydomain.com/sitemap.xml.gz\n";
}

关于 robots.txt 文件内容的规则及测试，可参看谷歌站长工具的帮助文件：使用 robots.txt 文件拦截或删除网页。这里给出一个实际例子：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*