国产va免费精品高清在线观看-国产vs久久-国产v精品成人免费视频400条-国产v片成人影院在线观看-日本欧美一区二区三区高清-日本欧美一区二区三区片

問題描述：

頁面每天只有幾個IP訪問，流量卻在短時間內消耗殆盡。

問題分析：

通過流量統計報告查看到百分之八十的流量都是來自蜘蛛爬蟲。

>【官方說法】百度蜘蛛抓取流量暴增的原因

解決方案：

編寫robots.txt文件上傳到網站根目錄中。

使用類似于“Disallow:/ 禁止允許”的規則對蜘蛛爬蟲進行禁止。減少蜘蛛抓取對網頁產生的流量。

注意：這樣做雖然能減少不必要的流量。但是會影響到網頁的權重值。在設定的時候。請自行斟酌取舍。

>robots.txt文件格式及用例?