当前位置: 首页 > seo优化知识 > 正文

每个建站程序的Robots文件写法都一样吗?

robots

robots.txt是搜索引擎蜘蛛访问我们网站时第一个要看的文件。这个文件是告诉蜘蛛在爬取我们网站时,哪些文件可以看,哪些文件不能看。如果我们网站上有些信息不想被搜索引擎蜘蛛爬取,这个时候我们就可以写一个robots.txt文件,告诉蜘蛛不要索引我们这个文件。

看完上面这段话,相信大家也可以知道robots.txt文件是干什么用的。但是我们当下有很多热门的建站程序,例如:wordpress、dedecms、phpcms、discuz等等,那么这些建站程序的robots.txt文件的写法都是一样的吗?答案肯定不是。今天我就给大家分享下这些热门建站程序的robots.txt文件该怎么写。

1.WordPress建站程序的robots.txt文件写法
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: http://www.***.com/sitemap.xml

2.DedeCMS建站程序的robots.txt文件写法
User-agent: *
Disallow: /plus/feedback_js.php
Disallow: /plus/feedback.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
Disallow: /member

3.phpcms建站程序的robots.txt文件写法
User-agent: *
Disallow: /admin
Disallow: /data
Disallow: /templates
Disallow: /include
Disallow: /languages
Disallow: /api
Disallow: /fckeditor
Disallow: /install
Disallow: /count.php
Disallow: /comment
Disallow: /guestbook
Disallow: /announce
Disallow: /member
Disallow: /message
Disallow: /spider
Disallow: /yp
Disallow: /vote
Disallow: /video

4.discuz论坛建站程序的robots.txt文件写法
User-agent: *
Allow: /redirect.php
Allow: /viewthread.php
Allow: /forumdisplay.php
Disallow: /?
Disallow: /*.php

总结:以上就是当下4个热门建站程序的robots.txt文件写法。当然我这里并不是要大家在实际操作过程中也按照这个方法来写,因为这里都是我用经验总结出来的,其中有些协议大家可能都涉及不到,所以希望大家灵活的使用,不要太死板。



无觅相关文章插件,快速提升流量

本文固定链接: http://www.dxqseo.com/76.html | 武汉seo-武汉seo优化-武汉seo网站优化服务

每个建站程序的Robots文件写法都一样吗?:等您坐沙发呢!

发表评论


快捷键:Ctrl+Enter