当前位置:首页 » 《随便一记》 » 正文

运营笔记:是时候了解蜘蛛爬取原理了!揭秘收录难题

29 人参与  2020年04月30日 00:00  分类 : 《随便一记》  评论

点击全文阅读


 

很多人在做SEO的时候,搞不清蜘蛛爬取的原理或者对收录索引都搞不清关系,这篇文章主要针对实战来讲解蜘蛛和收录的关系,不讲原理,只讲干货和经验。

首先我们提到蜘蛛可能就可能想到IP,比如以下这些;

220.181.108.89专用抓取首页IP 权重段,一般返回代码是304 0 0代表未更新。

220.181.108.94专用抓取首页IP 权重段,一般返回代码是304 0 0代表未更新。

220.181.108.97专用抓取首页IP 权重段,一般返回代码是304 0 0代表未更新。

220.181.108.80专用抓取首页IP 权重段,一般返回代码是304 0 0代表未更新。

220.181.108.77 专用抓首页IP 权重段,一般返回代码是304 0 0代表未更新。

是不是很难理解?但是如果做过网络维护、或者局域网组网的就能明白,其实每个IP对应的就是一台电脑,每组服务器组对应的就是网段。

比如,220.181.108.x这个网段,我们暂且叫收录服务器组,这个服务器组下面有电脑ABCDE,对应的IP,每台电脑上装着相应的收录程序。

那么这样是不是清楚了呢?比如你提交一个链接到百度,那么相当于把这个链接提交到收录服务器组的C号电脑。

比如你提交了1、2、3个链接,这三个链接分别提交到了收录服务器组的C、D、E号电脑,所以你查看日志的时候会发现,这三条链接对应不同的IP,也就是对应着不同的电脑。

那为什么提交3条链接会提交到三台不同电脑呢?我个人猜测,或许提交的数据太多,同一台电脑处理不了,所以采取了分布处理方式。(个人猜测,并非是研究证明,或许是更高级的处理方式)。

我昨天针对这个做了一个测试,写了3篇原创文章,发布后,我以最短的时间查看蜘蛛爬取情况,结果这三篇文章,分别爬取的IP是;

116.179.32.135——服务器1

220.181.108.122——服务器2

220.181.108.180——服务器3

第一篇文章写完后,文章过几分钟秒收录,然后我模仿第一篇写作框架,继续写第二篇,第二篇也过几分钟秒收,然后接着写第三篇,可惜的是,第三篇没有收录。

但第二天,这三篇全部收录,也就是说,第三篇变成了隔天收录。

我又查看了116.179.32.135这个IP,这个IP属于山西省阳泉市 联通,目前很多人都奇怪现在出现了116.179.32.X网段的蜘蛛,现在可以确定 的是,这个网段就是百度蜘蛛,除了nslookup可以验证外,以下几点也是证据;

蜘蛛爬身上是报喜?是时候了解蜘蛛爬取原理了!揭秘收录难题!

另外百度李总裁老家也是阳泉的,所以几个证据足以说明,搜索服务器一部分也搬到了山西。

结合上面实战的经验包括以往收录爬取的蜘蛛分析,只要是链接提交到116.179.32.135,或者220.181.108.122、220.181.108.180等等,那么链接必定收录,所以唯一解开收录密码的难点在于,如果控制链接提交到这些服务器?

甚至有人戏谑称,220开头的是官方蜘蛛,而116开头是老家蜘蛛,呵呵,希望大佬一起来研究这个问题。

文章首发运营正经说:https://www.yyzjs.cn/zhanzhang/779.html

申请创业报道,分享创业好点子。,共同探讨创业新机遇!


点击全文阅读


本文链接:http://m.zhangshiyu.com/post/778.html

<< 上一篇 下一篇 >>

最新文章

  • 迟迟白日晚全书+后续(路星延宋栀年)_(迟迟白日晚全书+后续)迟迟白日晚全书+后续列表_笔趣阁(路星延宋栀年)
  • 往梦难复温+全书+后续(沈淮霆宋思予)列表_往梦难复温(沈淮霆宋思予)往梦难复温+全书+后续在线
  • 兰因絮果,爱恨全如玉碎全书+后续+结局(谢长乐肖风行)列表_兰因絮果,爱恨全如玉碎(谢长乐肖风行)兰因絮果,爱恨全如玉碎全书+后续+结局在线
  • 从此星辰远,归途似海深人气节选(璃月龙影)全书免费_(璃月龙影)从此星辰远,归途似海深人气节选后续(璃月龙影)
  • 全文你来时风起云涌番外+(陆翊夏天瑜赵歆)列表_全文你来时风起云涌番外+
  • 人面兽小说精彩节选免费试读_小浩言语小蕊爆款小说高能章节试读
  • 你来时风起云涌免费(陆翊夏天瑜赵歆)
  • 四海八荒苦封喉,君心似毒酒结局+番外+后续看点十足(洛虞玄澈)_四海八荒苦封喉,君心似毒酒结局+番外+后续看点十足(洛虞玄澈)洛虞玄澈免费列表_笔趣阁(洛虞玄澈)
  • 「错宠假千金,全京城权贵暴虐侯府」章节多结局预体验‌_沈轻漾楚珩完结版免费在线阅读
  • 画地为牢(池念谢宴清)_画地为牢(池念谢宴清)
  • 完结文往梦难复温列表_完结文往梦难复温(沈淮霆宋思予)
  • 画地为牢结局+番外(池念谢宴清)_(画地为牢结局+番外)列表_笔趣阁(池念谢宴清)

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1