如何從廣度和深度喂飽蜘蛛

昨天在“搜索引擎是咋樣工作的”內(nèi)容中也提到了蜘蛛的工作方式分為廣度和深度，但是沒有詳細(xì)的介紹，今天合肥網(wǎng)絡(luò)公司小編就跟大家解析一下蜘蛛廣度和深度的工作方法。

搜索引擎蜘蛛工作都是深度開始，蜘蛛找到一個(gè)鏈接之后，就會(huì)沿著這個(gè)鏈接向下一個(gè)鏈接前進(jìn)；從一個(gè)頁面開始這樣重復(fù)著工作，但不是重復(fù)爬同一個(gè)頁面。當(dāng)蜘蛛爬到無路可走的時(shí)候，才返回爬另一條路。

蜘蛛的廣度工作比較有規(guī)律，用字母表示頁面，就可以很形象的表示為蜘蛛從頁面A爬到a1、a2、a3、a4，如果a4頁面之后就沒有其他鏈接了。然后從另一個(gè)鏈接爬到另外b1、b2、b3、b4頁面。

如果蜘蛛以廣度優(yōu)先，那么蜘蛛就能在一個(gè)頁面發(fā)現(xiàn)很多個(gè)鏈接，這種爬行是沒有規(guī)律的爬行。按照網(wǎng)站的層次來爬，第一層爬取完了之后，再爬取第二層頁面，以此類推。用字母表示的話就是從A頁面爬到A1、B1、C1、D1頁面，爬完之后再繼續(xù)到第二個(gè)層次，A1爬完爬A2，A2爬完爬A3。

合肥網(wǎng)絡(luò)公司認(rèn)為，不管是廣度還是深度，蜘蛛都會(huì)爬完整個(gè)網(wǎng)絡(luò)，當(dāng)然也不可能每個(gè)頁面都能爬取到，所以我們才會(huì)有網(wǎng)站收錄不一樣的情況。如何喂飽蜘蛛，那就要讓蜘蛛在網(wǎng)站中舍不得出來，網(wǎng)站內(nèi)鏈和外鏈都要做到盡善盡美。