RELATEED CONSULTING
相关咨询
选择下列产品马上在线沟通
服务时间:9:30-18:00
你可能遇到了下面的问题
关闭右侧工具栏
SEO高手为什么要懂robots?
  • 作者:admin
  • 发表时间:2019-12-13 16:56
  • 来源:未知

robots协议书就是指收索引擎与网站中心的协议书文档,也就是说爬虫协议书,用以特定spider在网站上的抓取领域。其成效是可以屏蔽掉对网站对收索引擎不友善的衔接,例如动态性和静态数据衔接别的存有时屏蔽掉每日使命悉数不肯被引证的网页。
 

  robots协议书是正确引导蛛蛛抓取网站地形图,也用于维护网站信息和比较灵敏信息内容,确保客户私家信息和隐私维护不被损害。存有于网站根目录正,以文件格局存有,留心robots文件夹称号不可以随意改变

1-191212222314161.png

 

  书写::表达关于某一爬虫,
 
  :表达制止抓取
 
  :容许抓取
 
  .*通配符,表达悉数
 
  .$结束符,表达以哪些结尾
 
  /根域下就是指网站根目录
 
  注:灶具显现英文情况下的,并且后边有一个空格符,首写有必要小写。
 
  例:
 
  1、User-agent:*Disallow:/关于悉数爬虫制止抓取根目录下的悉数衔接
 
  2、User-agent:BaiduspiderDisallow:/制止百度爬虫抓取网站悉数联接
 
  3、User-agent:*Disallow:/a/关于悉数的爬虫制止抓取网站根目录下的a目录
 
  4、User-agent:*Disallow:/a关于悉数的爬虫制止抓取网站根目录下为“a”开端的文档5、User-agent:*Disallow:/*?*(?表达动态性符)制止抓取网站根目录下带?号的动态性衔接
 
  6、User-agent:*Disallow:/*.js$制止抓取网站根目录下边以.js结尾的文档
 
  7、User-agent:*Disallow:/a/Allow:/a/b/制止抓取网站根目录下边“a”,容许抓取“a”目录下边的“b”目录。
 
  8、User-agent:*Disallow:/a/Allow:/a/b制止抓取网站根目录下边“a”目录,容许抓取“a”目录中以“b”开端的文档。

  • 2020-07-02--信息流平台的推荐与SEO有关联吗?【新乡金辰网络】
  • 2020-07-02--SEO的缺点是什么?如何做好网站SEO?
  • 2020-06-03--百度冰桶算法是什么?对SEO有什么影响?
  • 2020-01-01--网站SEO优化遇降权处理需谨慎!
  • 2019-12-26--SEO专业名词:什么是网站PV,UV,IP
  • 2019-12-14--百度推广-怎么做百度搜索推广呢?SEO+SEM都要精通
  • 2019-12-10--什么是SEO顾问?做好SEO顾问工作的因素分享
  • 2019-12-09--SEO站外推行技巧与办法