搜索引擎的工作原理，講求提高網站與其友好性，因此，在網站優化中，SEO的每一步操作，都與搜索引擎機制有著必然的聯系。對新手來說，先要對其原理進行滲透，我們可以通過逆向推理獲取我們先要知道的答案，至少我們要從原理出發，那么才知道我們所做的什么操作有什么樣的意義。

    一、什么是搜索引擎爬蟲？

    索引擎蜘蛛也稱之為：頁面爬蟲，其目的：抓取各類網站的高質量內容進行展現，那么每個搜索引擎都有自己的爬蟲，我們來進行相關的了解！

    1. Baiduspider（百度蜘蛛）百度公司還有其它幾個蜘蛛：Baiduspider-news（新聞）、Baiduspider-mobile（wap）、Baiduspider-image（圖片）、Baiduspider-video（視頻），站長經常見到的是Baiduspider和Baiduspider-image。

    2. Googlebot（谷歌蜘蛛）還發現一個Googlebot-Mobile，看名字應該是抓取wap內容的。

    3. 360Spider（360蜘蛛）它是一個很“勤奮抓爬”的蜘蛛。

    4. Sogou News Spider（搜狗蜘蛛）

    二、搜索引擎工作原理

    SEO可以把其原理分為三個階段：

    1、爬行和抓取

    2、預處理（建立索引）

    3、輸出結果

    這里也就是說，當搜索引擎蜘蛛在抓取我們網站之后，是否給予展現，就需要進行預處理，決定頁面是否進行展現，那么其中的影響因素有：

    （1）文章質量度

    （2）關鍵詞布局

    （3）蜘蛛抓取深度

    （4）網站質量

    （5）搜索引擎信任度

    （6）網站層級

    （7）URL設置是否規范

    這里，并沒有按照順序為大家進行排列，但是也足以說明，影響頁面是否被收錄給予良好的展現，主要還是取決于站長自身對網站的整體感，以及對網站基礎的設置等因素有***的關聯。

    三、蜘蛛爬行和抓取原理

    還是要為大家對于蜘蛛抓取這個重要環節，進行一個詳細的說明，畢竟這是站長做SEO優化，比較核心的部分，畢竟網站需要有***的展現量才能獲取***的排名。

    當搜索引擎通過蜘蛛發現鏈接時，根據網站的質量度決定蜘蛛抓取頻次以及次數，然后蜘蛛便會去訪問我們的網站，從而獲取我們的HTML代碼存入數據庫之中。

    1、那么Spider（蜘蛛）抓取網頁的具體流程有哪些？

    答：發現某一個鏈接 → 下載這一個網頁 → 加入到臨時庫 → 提取網頁中的鏈接 → 在下載網頁 → 循環。

    1）預處理（建立索引）

    蜘蛛（***術語：索引程序）對抓取來的網頁內容要進行關鍵詞提取、生成倒排索引、頁面PageRank值及TrustRank值計算、頁面關鍵詞相關性等處理，以備排名程序調用，這也是搜索引擎能在極短時間內返回搜索結果的關鍵，其中我們***關心的是PR值和相關性。

    2）輸出結果

    用戶輸入關鍵詞后，排名程序調用索引庫數據，程序自動匹配關鍵詞，然后按***規則生成搜索結果展示頁面，這是因為前面的預處理，搜索引擎才能夠在很短的時間內返回輸出結果，這里特別要提醒一下，自然搜索排名和競價推廣排名是有區別的。