一、抓取原理(深度抓取和廣度抓取）
Spider的抓取是搜索引擎內(nèi)容的重要來源，Spider通過抓取一個(gè)鏈接不斷的往下抓取，就像是一個(gè)蜘蛛網(wǎng)，蜘蛛在網(wǎng)上面不斷的進(jìn)行爬取從而獲得大量的內(nèi)容來源。
二、篩選、過濾
蜘蛛將抓取來的頁面會(huì)經(jīng)過不斷的篩選把帶有明顯的欺騙用戶的網(wǎng)頁，死鏈接，空白內(nèi)容頁面，沒有豐富內(nèi)容，文不對題的垃圾頁面等進(jìn)行過濾掉。這些網(wǎng)頁對用戶、站長和百度來說，都是沒有足夠的價(jià)值得垃圾頁面，是為了避免為用戶和您的網(wǎng)站帶來不必要的麻煩，以提高用戶體驗(yàn)。

三、建立索引
百度對抓取回來的內(nèi)容會(huì)逐一進(jìn)行標(biāo)記和識(shí)別，并將這些標(biāo)記進(jìn)行儲(chǔ)存為結(jié)構(gòu)化的數(shù)據(jù)，比如網(wǎng)頁的tag、title、metadescripiton、網(wǎng)頁外鏈及描述、抓取記錄。同時(shí)，也會(huì)將網(wǎng)頁中的關(guān)鍵詞信息進(jìn)行識(shí)別和儲(chǔ)存，以便與用戶搜索的內(nèi)容進(jìn)行匹配。

四、展示排序
用戶輸入的關(guān)鍵詞，百度會(huì)對其進(jìn)行一系列復(fù)雜的分析，并根據(jù)分析的結(jié)論在索引庫中尋找與之最為匹配的一系列網(wǎng)頁，按照用戶輸入的關(guān)鍵詞所體現(xiàn)的需求強(qiáng)弱和網(wǎng)頁的優(yōu)劣進(jìn)行打分，并按照最終的分?jǐn)?shù)進(jìn)行排列，展現(xiàn)給用戶。

上一篇：按照正確的優(yōu)化思路做百度優(yōu)化步驟是什么？

下一篇：robots.txt協(xié)議的作用及寫法