蜘蛛抓取
通過程序發(fā)出網(wǎng)站頁訪問請求后, 服務器返回網(wǎng)頁代碼, 蜘蛛對頁面代碼進行抓取, 索引入庫, 根據(jù)網(wǎng)站權重及質(zhì)量度，搜索引擎將對網(wǎng)站進行不同頻次抓取。

為何SEO需要對URL進行優(yōu)化?
URL優(yōu)化不僅僅有利于用戶體驗, 網(wǎng)站的權重集權, 對網(wǎng)站頁面收錄也擁有很大的好處, 做網(wǎng)站到上線最基本的準則, 是滿足百度蜘蛛能夠對網(wǎng)站進行全面抓取, 對于蜘蛛來說最簡單的方法就是深度抓取和廣度抓取。

什么是蜘蛛深度抓取?
　　指蜘蛛發(fā)現(xiàn)一個鏈接進行爬行的過程中, 一直向前, 直到最深層級不可再爬行為止, 然后返回最初爬行頁面, 再進行下一個鏈接爬行。就好比從網(wǎng)站的首頁, 爬行到網(wǎng)站的第一個欄目頁，再通過欄目頁爬行一個內(nèi)容頁，然后跳出首頁，對第二個網(wǎng)站進行爬行。

什么是蜘蛛廣度抓取?
　　指蜘蛛爬行一個頁面, 存在多個鏈接時, 并非對一個鏈接進行深入抓取, 例如：蜘蛛進入網(wǎng)站首頁后, 對所有欄目頁進行有效爬行, 再對所有欄目頁下的二級欄目或者內(nèi)容頁進行爬行, 也就是一層層的爬行方式，不是一個個的爬行方式。

由此可見——
欄目的層級關系對SEO優(yōu)化還是有至關重要的影響, 網(wǎng)站抓取無論是深度優(yōu)先，還是廣度優(yōu)先，盡可能縮減鏈接命名的復雜程度, 以及不必要的層級關系, 有效的降低百度蜘蛛的不必要抓取, 畢竟對于百度蜘蛛來說，時間跟寬帶資源并不是無限制的, 讓蜘蛛能夠通過更短的時間, 對網(wǎng)站進行全部抓取, 對網(wǎng)站收錄, 以及網(wǎng)站排名有至關重要得到作用, 畢竟蜘蛛對每個網(wǎng)站抓取能力有限, 但是為考慮更多的站點和內(nèi)頁，所以一般搜索引擎都會對廣度抓取和深度抓取進行混合使用, 當然抓取頻次和深度, 也會同頁面質(zhì)量度、網(wǎng)站規(guī)模、外鏈情況、更新頻次、網(wǎng)站權重等諸多因素進行考慮。
　　所以為什么網(wǎng)站質(zhì)量度再高, 總存在部分頁面不收錄不展現(xiàn)呢?簡而言之, 百度蜘蛛不能對每個網(wǎng)站每個頁面進行全面照顧到位, 所以對SEO來說, 價值就體現(xiàn)出來了, 為了提升網(wǎng)站收錄, 并非一定要使用具有風險的蜘蛛池引蜘蛛, 通過對網(wǎng)站框架的認識和對頁面的分析, 做好內(nèi)循環(huán)引誘蜘蛛抓取, 也是提升網(wǎng)站收錄的手段之一, 當然提升網(wǎng)站權重也可以帶動百度蜘蛛對于網(wǎng)站進行深度抓取。

外鏈對網(wǎng)站的作用是什么?
都說是引流, 那么對SEO的意義, 最為明顯的就是通過外部鏈接, 實現(xiàn)引導百度蜘蛛對頁面深度抓取, 引入網(wǎng)站內(nèi)部鏈接對頁面進行爬行, 當然并非所有外鏈都能起到這樣的效果, 對于高質(zhì)量的導入鏈接來說, 容易實現(xiàn)頁面導出鏈接爬行加深, 提升網(wǎng)站的抓取概率。
　　其次, 就對于網(wǎng)站排名進行一個簡單的解析, 都知道網(wǎng)站權重首頁最高, 并且權重傳遞由上至下, 從左到右, 也就說明了, 百度Spider對于首頁的抓取頻次是最高的, 頁面位置距首頁越近, 也會賦值頁面權重高于其他頁面, 被抓取的概論增加。所以對SEO來說, 重要的欄目和關鍵詞盡可能放置優(yōu)先抓取位置, 能促進網(wǎng)站基礎排名哦, 當然不能忽視的問題就是網(wǎng)站更新頻次, 這點就不做更多的說明了。
　　吸引百度蜘蛛抓取, 從原理中不難看出, 除開網(wǎng)站框架布局, 頁面質(zhì)量度也可以帶動網(wǎng)站收錄, 站長可針對頁面質(zhì)量度對網(wǎng)站進行剖析, 進行適當內(nèi)鏈增加, 促進網(wǎng)站內(nèi)循環(huán), 頁面權重越高, 抓取頻次也會增加, 那么百度Spider如何判斷頁面權重值呢?除開鏈接同首頁距離, 還需要對于頁面用戶受眾率、關鍵詞布局、層級深度、歷史數(shù)據(jù)、質(zhì)量度等來進行判斷。