四川:怎样设置robots避免南充市南部县建站公司蜘蛛黑洞

2020-02-24 21:32| 发布者: | 查看: |

  对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。


  比如很多网站都有筛选功能,通过筛选功能产南充市南部县建站公司生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢?


  东莞SEO以某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:


  对于普通的筛选结果页,该网站选择使用静态链接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun


  同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如:http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek


  http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c


  对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。


  robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。


总结:本文主要是解答【四川:怎样设置robots避免南充市南部县建站公司蜘蛛黑洞】大家想网站关键词优化排名自己研究,但道路通常是曲折的,若是大伙能够自学成大神,那么当下网站关键词优化排名专家已经随处可见了,正因为这样网站关键词优化排名网络营销推广-[略奥网络]建议你们还是找资深的网站关键词优化排名公司实行协作。

文章相关标签:网站搜索id引擎
说明:(www.lueao.com)网站建设-[略奥网络]提供网站建设,seo优化优化,SEO工具,百度优化技术,网站seo教程,整站优化排名,网站seo服务,网络推广培训,seo优化外包,网络营销顾问等谷歌推广推广文献资料,如有合作:请联系 QQ:444619797 

转载注明出处:

<
>
四川略奥网络科技是一家专注用户体验设计开发与互联网品牌建设的设计公司,创立至今为2000多位客户提供了创新与专业的设计方案。设计服务范围包括:交互原型设计、产品视觉设计、网站设计与开发建设、移动及软件产品界面设计、图标设计、品牌及平面设计等。

联系我们

四川南充市五星花园666号

17341618844(服务时间:9:00-18:00)

444619797@qq.com

在线咨询 新浪微博 官方微信官方微信

部门热线

17341618844

网站建设 微信开发 售后服务 咨询电话17341618844 返回顶部
返回顶部