首要，介绍一下自己。自己上任于深圳某企业，长时刻混迹于乙方外包公司，众所周知搜索引擎优化外包公司接的是绝大部分是小企业网站，这些网站做的关键词往往也仅是改个TDK就完结排名的作业。

　　再加上，现在绝大部分中小站点的架构很简单，开源CMS+单一云服务器(虚拟主机)+CDN(这仍是有点运维才能公司)。鉴于以上经历，导致自己彻底没有意识到服务器架构方面也能呈现问题。

　　从(图1)能够和显着的看出，在3月中下旬录入是倾向正常的，问题呈现在3.31日-4.25日之间呈现了起浮，也便是说，这个区间一定是站点呈现了问题导致录入反常。

　　1.2、搜索引擎爬虫抓取数量在提高，倾向正常。这里有反常，排查伪蜘蛛爬虫在抓数据，实在百度爬虫的确也在增加。

　　1.4、服务器日志剖析，爬虫对应的request_uri值(相对地址)，暂属正常，请看下文。

　　1.5、服务器日志是阿里云的日志，http恳求，7.18日、7.19日、7.20日以及7.26日呈现小面积服务器500拜访过错;但最多只呈现有限的时刻录入反常，不至于大范围不录入。

　　在服务器拜访日志剖析中，一般需求留意的项是：爬虫抓取时刻值，爬虫页面URL值，爬虫在页面抓取次序，时刻内爬虫抓取数量，另一说蜘蛛IP值有权重凹凸之分(自己不确定，故不参阅)

　　页面URL值：一般服务器日志是相对地址，自己确诊呈现的问题在于疏忽host值，实在抓取URL应该是，host+request_uri值组合。

　　页面抓取次序：可查验网站架构的匍匐状况，大约能够知道爬虫在网站页面中的匍匐次序，能够辅佐运用爬虫软件或许开发经典爬虫(PY，PHP等)的匍匐状况作为参阅

　　用的是负载均衡，文件服务器+数据服务器+前端服务器，数据服务器悉数数据是由API接口、GET方法前端和app运用，网站URL是相对地址。服务器之间天然用的也是内网通讯。

　　综上，或许我们也看出有疏忽的参数，是1.4中说到的日志host值，由于是相对地址，host+request_uri才是抓取的完好地址。一向疏忽的Host值，原来是API的二级域名(图2)

　　从1中发觉，4.13号负载均衡的数据服务器api撤销署理，这样形成的结果是前端直接抓取了host主机值为api域名下的数据在前端烘托，由于是直接运用内网IP没经过署理，一起api二级域名为host主机值。

　　终究，问题就呈现在host主机为api的站点，没有运用署理，也便是说只需api站点经过署理变成二级站点烘托即可。假如没有运用署理，百度GET回来的页面是内网IP，抓取到的也便是这个URL。

　　本文完。鉴于自己仅是SEO，运维才能有限，单机服务器装备下站能够，负载均衡仅仅稍微听过，如有运维方面过错之处请见谅。

南宫28