Semalt:Google如何知道何時(以及為什麼)停止爬行您的網站?

在營銷網站時,Google蜘蛛與SEO廣告系列本身一樣重要。他們從可以找到的所有頁面中檢索網站並為其內容編制索引。它還在網站上更新的頁面上執行重新索引。它基於幾個因素定期執行此操作。它們包括但不限於PageRank,抓取約束以及在頁面上找到的鏈接。 Google蜘蛛抓取網站的次數將取決於這些因素中的一個或多個。

訪問者以及Google抓取工具應易於瀏覽。這就是為什麼擁有易於抓取的網站是其SEO廣告系列的一項附加優勢的原因。否則,Google將無法訪問該內容,因此降低了網站在搜索引擎排名頁面。

羅斯·巴伯, Semalt 定義了Google依賴於影響其決定減慢或停止爬網速度的兩個最重要的索引因素是連接時間和HTTP狀態碼。其他包括disavow命令,“ no-follow”標記和robots.txt。

連接時間和HTTP狀態代碼

連接時間因素與Google抓取漫遊器到達網站服務器和網頁所花費的時間有關。 Google高度重視速度,因為它高度表明了良好的用戶體驗。如果網頁的速度不是最優化的,則該網站的排名將會很差。 Google蜘蛛會嘗試訪問該網站,如果建立連接所花費的時間較長,他們會退後並較不頻繁地進行爬網。此外,如果Google嘗試以當前速度索引該網站,那麼它可能會中斷用戶體驗,因為它可能會大大降低其服務器速度。

第二個索引因素是HTTP狀態代碼,它表示服務器對爬網站點的請求響應的程度。如果狀態代碼在5xx範圍內,則Google會自行決定停止或延遲其對當前網站進行爬網的速度。 5xx範圍內的任何值都指示服務器可能存在問題,並且響應請求可能有問題。由於可能引起其他問題,因此Google漫遊器會在服務器更易到達時退出並進行索引編制。

Google何時恢復抓取網站?

Google致力於為用戶提供最佳體驗,並將對優化SEO元素的網站進行排名以實現這些目標。但是,如果該網站當前出現上述問題,它將命令其Googlebot稍後嘗試對其進行爬網。如果問題仍然存在,所有者將失去讓Google瀏覽其內容並在搜索結果中為其分配應有的排名的絕佳機會。除了這些問題之外,任何垃圾郵件跡像都會阻止該網站出現在搜索結果中。

與Google使用的所有其他算法一樣,它的蜘蛛程序也是自動的。它們被開發為根據某些參數查找,爬網和索引內容。如果該網站不符合某些最佳做法,則不會進行索引。牽涉到許多其他因素,但請務必牢記您站點的連接時間和HTTP狀態代碼。