屏蔽蜘蛛不同情況不同對(duì)待
發(fā)布時(shí)間:2012/11/19
字體:大中小
摘要:屏蔽蜘蛛不同情況不同對(duì)待,不同情況要如何屏蔽蜘蛛,網(wǎng)站優(yōu)化就要跟搜索引擎套近乎,它們是沒有一點(diǎn)人情味在里面的。有些時(shí)候我們?yōu)榱俗龊镁W(wǎng)站優(yōu)化,要適當(dāng)?shù)仄帘沃┲?,合肥網(wǎng)站建設(shè)小編就來簡(jiǎn)單介紹一下。
網(wǎng)站優(yōu)化就要跟搜索引擎套近乎,因?yàn)樗阉饕娴闹悄芑⒉幌袢?,它們是沒有一點(diǎn)人情味在里面的。有些時(shí)候我們?yōu)榱俗龊镁W(wǎng)站優(yōu)化,
要適當(dāng)?shù)仄帘沃┲?/strong>,合肥網(wǎng)站建設(shè)小編就來簡(jiǎn)單介紹一下。
因?yàn)榫W(wǎng)站模板和圖片的出現(xiàn),網(wǎng)站建設(shè)就方便的多了,蜘蛛對(duì)這些網(wǎng)站是有些排斥的,搜索引擎就會(huì)認(rèn)為你的網(wǎng)站是在作弊,所有想要屏蔽蜘蛛,就要使用images目錄,這種目錄可以有效的屏蔽蜘蛛。
蜘蛛很好吃,你喂給它東西吃,它是不會(huì)有喊飽的,前面分析了蜘蛛飼養(yǎng)要點(diǎn)。如果網(wǎng)站緩存目錄中有內(nèi)容,蜘蛛也是不會(huì)放過的。目錄里的內(nèi)容跟網(wǎng)站中的內(nèi)容是一樣的,這樣的話,蜘蛛抓取了同樣的內(nèi)容,百度算法也是不會(huì)放過你的,這會(huì)給網(wǎng)站權(quán)重帶去影響。為了避免這樣的情況發(fā)生,建站程序的緩存目錄都是不同的,所以每個(gè)不同網(wǎng)站的程序要有相應(yīng)的緩存目錄去有效屏蔽蜘蛛。
另外一種酒是CSS目錄和RSS頁也會(huì)讓搜索引擎發(fā)生錯(cuò)誤判斷,CSS目錄對(duì)蜘蛛沒什么大的作用,相反抓取完了之后會(huì)影響它的判斷。這個(gè)時(shí)候就可以使用robots.txt文件屏蔽。RSS頁這種建站程序也是重復(fù)的內(nèi)容,所以也需要屏蔽。
一般來說雙頁面網(wǎng)站還是比較少的,如果是動(dòng)態(tài)靜態(tài)雙頁面,那么網(wǎng)站最好能屏蔽動(dòng)態(tài)頁面。網(wǎng)站很多種URL都能指向同一個(gè)頁面,如果不屏蔽的話,這兩個(gè)頁面就會(huì)被抓取,這樣的話就是很明顯的作弊,所以一定要屏蔽動(dòng)態(tài)頁面。