robots.txt文件,相信大部分站长都知道其作用,通过它可以让搜索引擎蜘蛛不抓取网站的部分目录或文件。(需要提醒的是,网站的目录或文件并不是被抓取得越多越好)。使用Z-Blog 博客的博主很多忽略或者不知道怎么写robots文件,趣主题把自己使用的robots文件放出来供各博主参考下。
Z-Blog robots.txt文件:
以下是我的一个ZB博客使用的robots.txt文件。
| 1234567891011121314151617 | #robots.txt for gmzhen#User-agent: *Disallow: /FUNCTION/Disallow: /CACHE/Disallow: /XML-RPC/Disallow: /SCRIPT/Disallow: /ADMIN/Disallow: /CSS/Disallow: /LANGUAGE/Disallow: /DATA/Disallow: /THEMES/Disallow: /INCLUDE/Disallow: /wap.aspDisallow: /cmd.aspDisallow: /c_option.aspDisallow: /c_custom.aspSitemap: http://www.gmzhen.com/sitemap.xml |
提示:对robots.txt文件里的内容不懂的,可以参考下趣主题先前的WP中的robots说明https://www.quzt.cc/wordpress-robots-txt.html
提示:对robots.txt设计的文件或目录不懂的,可以参考趣主题先前的ZB博客文件说明https://www.quzt.cc/z-blog-file-use.html
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

评论(0)