zongscan,robots的优化_SEO优化

Seo  /  houtizong 发布于 3年前   86

一、robots概述

①robots.txt纯文本文件，网站管理员可以在这里声明该网站不想robots访问的部分，所以robots优化直接影响着搜索引擎对网站的收录情况；

②robots.txt必须放置在一个站点的根目录下，并且文件名必须全部小写：www.cjzzc.com/robots.txt；

③就算你的网站全部内容都可以被搜索引擎收录，那也要写个空的robots.txt；因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息；

二、robots的写法

# robots.txt file from https://blog.zongscan.com/

# All robots will spider the domain

User-agent:*

Disallow:

1、允许搜索引擎访问所有部分（一般可不写）

User-agent:*

Disallow:

2、禁止搜索引擎访问任何部分

User-agent:*

Disallow:/

3、禁止搜索引擎访问某几个部分

User-agent:*

Disallow:https://blog.zongscan.com/404.html

4、允许某个搜索引擎访问

User-agent:Baiduspiter

Disallow:/

5、禁止所有搜索引擎蜘蛛访问某几个目录下的内容及文件

User-agent:*

Disallow:/sss/

Disallow:/aaa/

8、禁止除了百度蜘蛛以外的所有搜索引擎抓取任何内容：

User-agent:Baiduspiter

Disallow:/

User-agent:*

Disallow:/

9、$：通配符，匹配url结尾的字符。禁止百度蜘蛛抓取所有.jpg文件

User-agent:Baiduspiter

Disallow:.jpg$

10、禁止和允许搜索引擎访问某个目录，如：禁止访问admin目录；允许访问images目录。

User-agent:*

Disallow:/admin/

Allow:/images/

11、禁止和允许搜索引擎访问某个后缀，如：禁止访问admin目录下所有php文件；允许访问asp文件。

User-agent:*

Disallow:/admin/*.php$

Allow:/admin/*.asp$

12、禁止索引网站中所有的动态页面（这里限制的是有“？”的域名，如：index.php?id=8）。

User-agent:*

Disallow:/*?*

本文链接

请勿发布不友善或者负能量的内容。与人为善，比聪明更重要！

<div class="article"> <h4 style="text-indent: 2em;"><strong>一、robots概述</strong><br/></h4><p style="text-indent: 2em;">①robots.txt纯文本文件，网站管理员可以在这里声明该网站不想robots访问的部分，所以robots优化直接影响着搜索引擎对网站的收录情况；</p><p style="text-indent: 2em;">②robots.txt必须放置在一个站点的根目录下，并且文件名必须全部小写：<a href="https://blog.zongscan.com/robots.txt" target="_blank" title="www.cjzzc.com/robots.tx">www.cjzzc.com/robots.txt</a>；</p><p style="text-align:center"><img src="https://blog.zongscan.com/uploads/image/2020-04/1587352449103268.jpg" title="超级蜘蛛池之robots的优化" alt="超级蜘蛛池之robots的优化" width="450" height="254"/></p><p style="text-indent: 2em;">③就算你的网站全部内容都可以被搜索引擎收录，那也要写个空的robots.txt；因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息；</p><p style="text-align:center"><br/></p><p style="text-align:center"><img src="https://blog.zongscan.com/uploads/image/2020-04/1587352483518900.jpg" title="1587352483518900.jpg" alt="12.jpg"/></p><h4 style="text-indent: 2em;"><strong>二、robots的写法</strong></h4><p style="text-indent: 2em;"># robots.txt file from <a href="https://blog.zongscan.com/" target="_self" title="https://blog.zongscan.com/">https://blog.zongscan.com/</a></p><p style="text-indent: 2em;"># All robots will spider the domain</p><p style="text-indent: 2em;">User-agent:*</p><p style="text-indent: 2em;">Disallow:</p><p style="text-indent: 2em;">1、允许搜索引擎访问所有部分（一般可不写）</p><p style="text-indent: 2em;">User-agent:*</p><p style="text-indent: 2em;">Disallow:</p><p style="text-indent: 2em;">2、禁止搜索引擎访问任何部分</p><p style="text-indent: 2em;">User-agent:*</p><p style="text-indent: 2em;">Disallow:/</p><p style="text-indent: 2em;">3、禁止搜索引擎访问某几个部分</p><p style="text-indent: 2em;">User-agent:*</p><p style="text-indent: 2em;">Disallow:https://blog.zongscan.com/404.html</p><p style="text-indent: 2em;">4、允许某个搜索引擎访问<br/></p><p style="text-indent: 2em;">User-agent:Baiduspiter</p><p style="text-indent: 2em;">Disallow:/</p><p style="text-indent: 2em;">5、禁止所有搜索引擎蜘蛛访问某几个目录下的内容及文件</p><p style="text-indent: 2em;">User-agent:*</p><p style="text-indent: 2em;">Disallow:/sss/</p><p style="text-indent: 2em;">Disallow:/aaa/</p><p style="text-indent: 2em;">8、禁止除了百度蜘蛛以外的所有<a https://blog.zongscan.com/art/70.html" target="_blank" title="从搜索引擎抓取频次看网站正常与否">搜索引擎抓取</a>任何内容：</p><p style="text-indent: 2em;">User-agent:Baiduspiter</p><p style="text-indent: 2em;">Disallow:/</p><p style="text-indent: 2em;">User-agent:*</p><p style="text-indent: 2em;">Disallow:/</p><p style="text-indent: 2em;">9、$：通配符，匹配url结尾的字符。禁止百度蜘蛛抓取所有.jpg文件</p><p style="text-indent: 2em;">User-agent:Baiduspiter</p><p style="text-indent: 2em;">Disallow:.jpg$</p><p style="text-indent: 2em;">10、禁止和允许搜索引擎访问某个目录，如：禁止访问admin目录；允许访问images目录。</p><p style="text-indent: 2em;">User-agent:*</p><p style="text-indent: 2em;">Disallow:/admin/</p><p style="text-indent: 2em;">Allow:/images/</p><p style="text-indent: 2em;">11、禁止和允许搜索引擎访问某个后缀，如：禁止访问admin目录下所有php文件；允许访问asp文件。</p><p style="text-indent: 2em;">User-agent:*</p><p style="text-indent: 2em;">Disallow:/admin/*.php$</p><p style="text-indent: 2em;">Allow:/admin/*.asp$</p><p style="text-indent: 2em;">12、禁止索引网站中所有的动态页面（这里限制的是有“？”的域名，如：index.php?id=8）。</p><p style="text-indent: 2em;">User-agent:*</p><p style="text-indent: 2em;">Disallow:/*?*</p> <p style="text-indent: 2em; line-height: 2em; white-space:nowrap;"><a href="https://blog.zongscan.com/art/112136">本文链接</a></p> </div> 留言需要登陆哦

评论

技术博客集 - 网站简介：
前后端技术：
后端基于Hyperf2.1框架开发,前端使用Bootstrap可视化布局系统生成
网站主要作用：
1.编程技术分享及讨论交流，内置聊天系统;
2.测试交流框架问题，比如：Hyperf、Laravel、TP、beego;
3.本站数据是基于大数据采集等爬虫技术为基础助力分享知识，如有侵权请发邮件到站长邮箱，站长会尽快处理;
4.站长邮箱：[email protected];

  订阅博客周刊 去订阅
×
订阅博客周刊规则
只针对用有效邮箱注册的同学有意义;
订阅后网站每周会发送上一周最新博客1-2篇到你的邮箱...
关闭 立即订阅

文章归档

• 2021-04
• 2021-05
• 2022-02
• 2022-08

文章标签

• 高级程序员 初级程序员 国内论文抄袭 卫星连接 iPhone 14 苹果安全漏洞 VE-2022-32893 Google 工作的时间 工作的酬劳 工作的意义 大卫·格雷伯 谷歌搜索 Windows Gitlab 谷歌(GOOG.US) 百度seo windows12 微信注册 伪造二维码 qq盗号 一周三休制 三休制度 微信支付 人工智能 LaMDA AI 【济南推行五包一防控工作机制】 菏泽市召开第八场疫情防控工作新闻发布会 郑州酒店 上海酒店 第一次约会该谈论的事 阿里云服务器 新贴吧，水贴 Google产品评论算法 网络爬虫的道德与礼仪 手机应用程序无权过度索要个人信息 互联网政策法规 网站排名不稳定的原因分析 页面优化技巧分析 外链对提升网站排名的作用 网站结构如果合理优化 网站重复页面过多的解决办法 搜索引擎从哪些方面判断 怎么提高网站转化率 了解seo原理才能知道怎么加速提升网站排名 深入了解seo原理 怎么正确的来更换空间 网站排名下降的原因 怎么样的优化能提升网站的质量

友情链接

• 侯体宗的博客
• 佘春晓的博客
• 友链位

首页

关于我们

Auther ·HouTiZong

侯体宗的博客

© 2020 zongscan.com

版权所有ICP证 : 粤ICP备20027696号

也可以扫右边的二维码