标签 本站公告 下的文章

SEO网站优化SEOER,每天都要时刻关注百度蜘蛛有没有来抓取网站,抓取了网站哪些内容,没有抓取网站哪些内容,再没有抓取的页面上观察调整网站的问题。

想要提高爬虫抓取频率可以从几个方面着手,简单介绍提高spider抓取网站的策略。

 

提高spider抓取策略有哪些?

一、抓取友好性:抓取压力调配降低对网站的访问压力

带宽造成访问压力大,会直接影响网站的正常用户访问,为了不影响网站的正常用户访问,又能让spider抓取有价值性的页面。

1、IP压力控制

如果一个域名下存在多个IP,或者是多个域名下对应同一个IP,需要根据IP和域名多种条件进行压力调配控制。也可以在站长平台中使用压力反馈工具,人工调配对网站的抓取压力,这样spider会优先根据站长的要求进行抓取压力控制。

2、站点的抓取速度

如果在同一个站点,抓取速度控制有两类:第一类,一段时间内的抓取频率;第二类,一段时间内的抓取流量。同一个站点在不同的时间内抓取的速度是不同的,根据站点的类型来设置。

 

二、常用抓取返回码示意

1、404:“NOT FOUND”,表示该网页已经失效,通常在库中删除,spider如果发现这条URL是不会抓取的。

2、503:“Service Unavailable”,表示该网页暂时不能访问。网页返回503状态码,百度spider不会直接删除这条URL,再访问多次的情况下,网页如果恢复正常,就能正常抓取。如果继续返回503,才会认为是失效链接,从库中删除。

3、403:“Forbidden”, 表示该网页目前禁止访问。如果生成的是新的URL,spider是暂时不会抓取,也是会再访问多次;如果是被收录的URL,不会直接删除,短期内同样反复访问几次。如果网页正常访问,则正常抓取;如果仍然禁止访问,那么这条URL也会被认为是失效链接,从库中删除。

4、301:“Moved Permanently”, 表示该网页重定向到新的URL。如果站点需要更换域名、站点改版的情况下,需要设置301重定向,也可以在站长平台上网站改版工具提交,有效减少网站的流量损失。


阅读本文的人还可以阅读:

网站换域名或网页内容改版对网站有什么影响?网站换域名注意事项

如何提高spider抓取网站?提高spider抓取策略(2)

对于SEOer来说,分析竞争对手的网站是我们必须要做而且必须要做好的事情。但是很多SEOer只知道去观察,却不知道应该如何分析竞争对手的网站。观察网站很简单,而分析却是一件很难的事情,上一篇文章我教给大家如何分析对手网站,这篇文章就来教大家如何做好自己网站的SEO。

上篇文章:如何分析竞争对手网站和做好自己网站的SEO(1)


如何做好自己网站的SEO

站内优化

想要做好自己网站的SEO首先必须要把站内优化做好,站内优化是最基础的SEO,站内优化让网站可以有持续稳定的排名。

站内优化主要任务就是利用网站站内结构的优化,大幅度的提高自己站点的相关性,再通过少量的相关性链接来打败竞争对手。


什么叫站内结构相关性优化

很多SEOer只想到站外的链接需要相关性,但是忽略了一点:站内结构也需要做相关性优化。

站内结构相关性优化意思就是把相关性的关键词放在一起,打造成为一个闭环,让搜索引擎看到你的分类的时候,都是关于这个分类的内容,而不是跳到其他内容去,这样有助于增强搜索引擎对你的词义印象。

只要你的分类里的文章只介绍一个信息词或者围绕一个分类来写,搜索引擎就会给你贴上一个明确的分类标签,当用户搜索相关内容的时候,搜索引擎就会从索引库里推荐你的站点出来。

简而言之就是网站信息的表达越明确,排名越容易提升。

搜索引擎的任务是让用户找到他想要的和好的信息,只要你提供的信息对用户来说是有用的,用户喜欢你的信息,那么你的内容才算是成功的,如果你的网站内容达不到很好的水平,用户不喜欢,跳出率高,那么你的网站权重和pr值就不会上涨。



阅读本文的人还可以阅读:

SEO新手必看:全方位保姆式教你做SEO(1)

SEO怎么做?SEO的具体流程是什么?

谷歌优化指南:SEOer如何做谷歌推广

做SEO前必学的网站建设基础知识

对于SEOer来说,分析竞争对手的网站是我们必须要做而且必须要做好的事情。但是很多SEOer只知道去观察,却不知道应该如何分析竞争对手的网站。观察网站很简单,而分析却是一件很难的事情,怎么分析呢,今天我就来教给大家。


如何分析竞争对手网站

站长工具

站长工具是一个非常好用的工具,通过站长工具,我们可以看到对方网站很多信息,站长工具是每个SEOer必备的工具。

1、SEO信息

SEO信息指的是网站最基础的信息,网站的基础信息都可以在这里展现出来。

2、百度快照

通过百度快照,我们可以看出这个站长是否用心对待这个网站,如果站长用心对待了,那么这个网站的更新时间往往很靠近你现在的时间,如果一个网站很久没有更新百度快照,那么说明你要超越他是很简单的,只要用心做,就指日可待。

3、历史收录

历史收录也可以看出去一个网站的阶段性情况,历史收录的稳定性,是否一直在上升都是我们值得看和学习的。

4、域名备案

现在国内的正规网站都是需要备案的,如果没有备案的网站,一般都是抱着短期运营的心态在做的,这种网站也很容易被举报掉,我们的网站想打败他很简单。

5、域名年龄

一般情况越老的网站pr值和权重和排名越高,如果对方的域名年纪很大的话,我们就要更加用心的优化自己的网站,因为域名年纪大也代表站长年纪大,年纪越大说明站长也是很厉害的站长。

6、收录

一个网站排名的高低和收录有很大的关系,收录是一个网站排名的前提。一个网站的收录量多少,反映出网站的内容是否多,内容质量是否够好,站长是否用心在做这个网站。

7、关键词

在站长工具里搜索关键词可以看出在这个关键词下你和对手的网站分别排在什么位置,可以挑选竞争力弱的关键词来做优化,这样会让SEO更简单。


阅读本文的人还可以阅读:

SEO新手必看:全方位保姆式教你做SEO(1)

SEO怎么做?SEO的具体流程是什么?

谷歌优化指南:SEOer如何做谷歌推广

做SEO前必学的网站建设基础知识

上一篇文章中,给大家简单介绍了提高spider抓取网站策略的两大方法,另外还有五个策略接着给分享给大家。

如果没有浏览上篇文章,可以通过以下链接查看:

如何提高spider抓取网站?提高spider抓取策略(1)

 

提高spider抓取策略有哪些?

三、多种URL重定向的识别

为了让spider能够对多种URL重定向的识别,重定向分别有三类:HTTP 30x重定向、Meta refresh重定向和JS重定向。百度目前也支持Canonical标签

 

四、抓取优先级调配

想让搜索引擎抓取网站全部页面,是没有百分百的。所以需要在抓取系统设计抓取优先级调配。

抓取优先级调配包含:宽度优先遍历策略、PR优先策略、深度优先遍历策略等等。根据实际情况结合多种策略使用完善抓取效果。

 

五、重复URL的过滤

网站出现重复的URL过多,会引发被降权。

重复页面可以使用301重定向,在服务器端对标准URL进行定义。把不标准的URL都301重定向到标准的URL上。

 

六、暗网数据的获取

暗网数据指的是搜索引擎无法抓取的数据。主要因为网站上的数据都在网络数据库中,spider很难抓取中获得完整内容;其次网络环境和网站本身不符合规范等问题,导致搜索引擎无法抓取。

解决暗网数据的问题,可以通过百度站长平台数据提交的方式来解决。

 

七、抓取反作弊

Spider在抓取过程中会抓取到低质量页面或者是被黑的页面。通过分析URL特征、页面的大小等等原因,完善的抓取反作弊。


阅读本文的人还可以阅读:

301重定向是什么?301重定向怎么做?

百度链接提交工具--四种提交途径

许多SEOer都认为网站优化就是单纯依靠内容优化,但其实一个优秀的网站,网站中的每一个元素都是有优化的必要性的,如:框架优化、导航优化、代码优化、CSS优化、JS优化、图片优化等。


网页图片的SEO交互怎么优化

1、图片放大功能

该算法的思想是利用两幅图片,一幅是鼠标移动的小图片,另一幅是大图片,来动态地获取鼠标的位置,并在小图片上按比例地移动大图片,使得其中的一部分可以以DIV方式显示以实现放大效果。

html代码:

 <div>

         <div>

                    <div id="middlePicRemark">  <img id="imgGoodsPic" alt="" src="images/20141009154623153.jpg" style="width:950px; height:950px; display:block;position: relative"></div>

 

                    <div id="middlePicBox">

                    <span id="BigViewImage" style="outline-style: none; cursor: crosshair; display: block; position: relative; height: 396px; width: 396px;"><img id="" style="width: 396px; height: 396px; position: absolute; top: 0px; left: 0px;" src="images/20141009154623153.jpg">

                  <div style='height:166.32px;width: 214.240837696335px;border-width: 1px;visibility: hidden;position: absolute;'>

  </div></span>

                        </div>


2、图集使用:JS图片切换

通过计时器使得图片每间隔几秒可以自动切换,也可以通过鼠标的点击控制播放的图片。

html代码:

<!DOCTYPE HTML>

<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

<title>图片自动切换</title>

<link rel="stylesheet" type="text/css" href="qiehuan2.css">

 

<script>

window.onload=function(){

    var oDiv=document.getElementById("box");

    var oImg=oDiv.getElementsByTagName("img")[0];

    var oSpan=oDiv.getElementsByTagName("span")[0];

    var oP=oDiv.getElementsByTagName("p")[0];

    var oUl=oDiv.getElementsByTagName("ul")[0];

    var oLi=oUl.getElementsByTagName("li");

 

    var arrUrl=['1.png','2.png','3.png','4.png'];

    var arrText=['图片一','图片二','图片三','图片四'];

    var num=0;

 

    //初始化

    function fnTab(){

        oImg.src=arrUrl[num];

        oSpan.innerHTML=1+num+'/'+arrUrl.length;

        oP.innerHTML=arrText[num];

        for(var i=0;i<oLi.length;i++){

            oLi[i].className=''

        }

        oLi[num].className='active'

    }

    fnTab();

 

    //计时

    var timer=null;

    function show(){

        num++;

        num%=arrText.length; //计算播放哪张图片

        fnTab();

    }

 

    function autoPlay(){

        timer=setInterval(show,2000); //图片播放间隔为2秒

    }

 

    setTimeout(autoPlay,2000); //2秒后自动播放

 

    function stopPlay(){

        clearTimeout(timer);

    }

    oDiv.onmouseover = stopPlay;

 

    oDiv.onmouseout = autoPlay;

 

    for(var i=0;i<oLi.length;i++){

        oLi[i].index=i;

        oLi[i].onclick=function (){

            num=this.index;

            fnTab();

        };

    }

 

};

</script>

</head>

 

<body>

<div id="box">

<img src=""/>

<span>数量正在加载中...</span>

<p>文字说明正在加载中...</p>

<ul>

<li></li>

<li></li>

<li></li>

<li></li>

</ul>

</div>

</body>

</html>


3、选择适当的图片宽度大小(即响应图片)

无论是电脑还是手机,都有很多不同大小的图偏需要展现,如果做做的是响应性的网站,那么你就更加需要考虑图片的大小尺寸问题。

移动端有太多的屏幕分辨率和大小,因此可能需要加载不同大小的图像,从而节省了对站点的访问和页面呈现的效率。


4、使用CSSSprites减少HTTP的网络资源请求

CSSSprites是一种网页图像处理方法,其中一个页面所涉及的所有散乱的图像或图标都包含在一个大图片中,因此只需要加载这个图片,而不是很多图片,这减少了许多HTTP请求。


5、站点图片属性值的添加

网站图片上的属性值(ALTTITLE)也是图片优化中重要的一点,搜索引擎识别图片的途径首先就是从图片的ALT属性值抓取的,ALT属性值就相当于这个图片的标题、解释说明。


6、CSS和CSS3制作简单的图标和动画

随着技术的发展,CSS3可以实现的效果越来越多,比如箭头图标,三角形,梯形等图标,或者一些阴影效果,渐变的效果,可以用CSS制作一些图片排列,使得页面更美化。


阅读本文的人还可以阅读:

网页内容是写给谁看的?写网页内容需要注意些什么? 

MIP是什么?怎样实现MIP? 

如何优化网站产品页面 

过度优化是什么?如何避免优化过度?