在做SEO的過(guò)程中，你是否遇到這樣一種問(wèn)題：服務(wù)器訪(fǎng)問(wèn)CPU使用率幾乎100%，而且頁(yè)面加載速度特別慢，貌似被DDOS攻擊一樣。

經(jīng)過(guò)一番審查才發(fā)現原來(lái)自己的目標網(wǎng)站被大量不相關(guān)的“爬蟲(chóng)”頻繁的抓取，這對于一個(gè)小網(wǎng)站來(lái)講，可能是滅頂之災。

因此，我們在做網(wǎng)站優(yōu)化的時(shí)候，就需要針對特定蜘蛛有選擇的引導。

那么，如何與惡意“蜘蛛”暗度陳倉？

根據以往SEO經(jīng)驗分享，蝙蝠俠IT，將通過(guò)如下內容闡述：

1、搜索引擎爬蟲(chóng)

對于國內的小伙伴，我們都知道在做SEO的過(guò)程中，我們面對的最常見(jiàn)的爬蟲(chóng)就是搜索引擎的爬蟲(chóng)，比如：百度蜘蛛，同時(shí)，還會(huì )面臨各種搜索引擎的蜘蛛，比如：

①360Spider、SogouSpider、Bytespider

②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot

③其他爬蟲(chóng)

如何你沒(méi)有刻意的配置你的robots.txt文件的話(huà)，理論上，你的目標頁(yè)面是都可以抓取與爬行的，但對于一些中小網(wǎng)站，它偶爾會(huì )嚴重浪費自己的服務(wù)器資源。

這個(gè)時(shí)候我們就需要做出有選擇性的合理引導，特別是一些比較尷尬的問(wèn)題，比如：你希望谷歌降低對網(wǎng)站爬行，而又不能完全屏蔽，你可能需要一些小技巧，比如：針對特定爬蟲(chóng)的訪(fǎng)問(wèn)，反饋不同的文章列表：

①控制更新頻率的列表

②反饋大量重復性，內容農場(chǎng)的頁(yè)面

③善意的“蜘蛛陷阱”比如：Flash

④如何對方SEO管理平臺，可以調整抓取評論，適當調整一下

雖然，這樣的策略，很可能造成頁(yè)面信譽(yù)度受損，但這是我能想到，針對這些不希望經(jīng)常爬行，而又需要保持爬行的蜘蛛，合理控制抓取的一個(gè)相對“有效”的方法。

2、鏈接分析爬蟲(chóng)

從目前來(lái)看，一個(gè)SEO外鏈分析管理工具，每天需要耗費大量的服務(wù)器資源去全網(wǎng)爬行與檢測每一個(gè)網(wǎng)站的頁(yè)面鏈接。

針對一些資源密集型的站點(diǎn)，每天可能爬行成千上萬(wàn)次，這樣的爬蟲(chóng)屢見(jiàn)不鮮。

如果你不想自身的網(wǎng)站參與其中，最簡(jiǎn)單的策略就是在robots協(xié)議中，全封閉這樣的爬蟲(chóng)。

3、內容采集爬蟲(chóng)

但當我們面對一些惡意的內容采集爬蟲(chóng)而言，就相對的尷尬，對方往往是采用“隱身”的狀態(tài)，比如：模擬知名搜索引擎蜘蛛的名稱(chēng)。

針對這樣的問(wèn)題，我們只能手動(dòng)的判斷去審查一下對方的廬山真面，比如：利用IP泛解析命令，去判斷一下，它到底是不是真的。

①Linux平臺：hostip

②Widows平臺：nslookupIP

從而去判斷對方的解析地址，是否為對應的搜索引擎域名。

4、蜘蛛池爬蟲(chóng)

目前市面上有很多人做百度蜘蛛池，它主要的目的是輔助更多的頁(yè)面做百度快速收錄，但由于一些任意下載的蜘蛛池程序設計的不規范化。

沒(méi)有做到合理的針對不同蜘蛛的爬行與限定，往往導致服務(wù)器資源被大量占用，很容易被服務(wù)商關(guān)停服務(wù)器。

如果你試圖利用這個(gè)策略，提升自己頁(yè)面收錄，那么，你可能需要多加注意。(但我們并不推薦)

總結：SEO工作是一個(gè)細節性的工作，每個(gè)策略都影響著(zhù)整站的運營(yíng)狀態(tài)，而上述內容只是淺析，適用于中小站長(cháng)，僅供參考!

原創(chuàng )·蝙蝠俠IT https://www.batmanit.com/p/1151.html 轉載請注明!