• <xmp id="acwsw"><menu id="acwsw"></menu>
    <nav id="acwsw"><code id="acwsw"></code></nav>
  • <xmp id="acwsw"><menu id="acwsw"></menu>
  • <xmp id="acwsw">
    <optgroup id="acwsw"><optgroup id="acwsw"></optgroup></optgroup>
    ?
    当前位置:石家庄seo > 营销知识 > SEO优化方法 > moonseo:robots文件配置及实操写法

    moonseo:robots文件配置及实操写法

    发布时间:2021-01-03 18:23   浏览次数: 次   作者:admin

    moonseo:robots文件配置及实操写法

    robot.txt究竟要怎样写呢?明天moonseo给大师具体解说下“robots文件配置及实操写法”;

    1、robots.txt文件是甚么

    robots.txt文件复杂了解为便是通知搜刮引擎蜘蛛,咱们的网站上哪些内容能够被抓取,哪些不克不及抓取。当搜刮引擎蜘蛛拜访咱们网站时,第一件事便是反省网站根目次能否存正在robots.txt文件,假如存正在则会恪守robots.txt文件所编写的划定规矩抓取响应的内容;

    比方本站的robots.txt文件划定规矩:

    User-agent: *

    Disallow: /plus/ad_js.php

    Disallow: /plus/advancedsearch.php

    Disallow: /plus/car.php

    Disallow: /plus/carbuyaction.php

    Disallow: /plus/shops_buyaction.php

    Disallow: /plus/erraddsave.php

    Disallow: /plus/posttocar.php

    Disallow: /plus/disdls.php

    Disallow: /plus/feedback_js.php

    Disallow: /plus/mytag_js.php

    Disallow: /plus/rss.php

    Disallow: /plus/search.php

    Disallow: /plus/reco妹妹end.php

    Disallow: /plus/stow.php

    Disallow: /plus/count.php

    Disallow: /include

    Disallow: /templets

    Sitemap:http://www.seowaw.com/sitemap.xml

    腾讯网robots.txt文件划定规矩:

    User-agent: *

    Disallow:

    Sitemap: http://www.qq.com/sitemap_index.xml

    2、robots.txt文件感化

    为何网站都要写robots.txt文件呢?次要有如下四点:

    一、网站平安(避免紧张信息保守)

    二、俭省网站流量(增加蜘蛛拜访页面)

    三、领导蜘蛛爬取网站舆图(有益于网站收录)

    四、制止搜刮引擎蜘蛛收录隐衷页面(维护网站紧张信息)

    3、robots.txt文件写法

    “/” 后面有一个英文形态下空格;

    Disallow: /制止拜访

    比方:”Disallow:/plus/ad_js.php”制止拜访/plus/as_js.php文件,”Disallow:/a/”,”Disallow:/b/”制止拜访a,b文件。

    Allow: /答应拜访

    User-agent: /描绘搜刮引擎robots的名字

    咱们晓得搜刮引擎爬虫有多个品种,Baiduspider、Googlebot、360spider、Sosospider等等。

    比方:User-agent: Baiduspider透露表现界说baidu蜘蛛,那末名为”Baiduspider”就遭到 ” User-agent: Baiduspider”前面的Disallow以及Allow的划定规矩限定。”User-agent: *”透露表现界说一切蜘蛛。

    比方本站robots.txt文件划定规矩透露表现:答应一切搜刮引擎蜘蛛拜访,且制止抓取”Disallow: /”下文件。

    腾讯网robots.txt文件划定规矩透露表现:答应一切搜刮引擎蜘蛛拜访一切文件。

    多种搜刮引擎蜘蛛

    4、robots.txt文件存正在地位

    寄存正在网站根目次下,而且robots.txt文件名一切字母必需为小写。

    5、留意事变

    正在编写robots.txt文件时,User-agent、Disallow、Allow第一个字母均为年夜写,前面的字母小写,而且正在 ”:”前面必需带一个英笔墨符空格,网站上线以前倡议写好robots.txt文件制止蜘蛛拜访,假如还没有会写能够参考网上robots.txt写法,以避免给网站收录带来不用要的费事。

    总结:以上便是moonseo分享的团体经历,假如你还没有会robots.txt文件写法,能够联络moonseo帮助处理!

    ?
    大公鸡七星彩7.2.9下载安装