《谷歌發(fā)布Robots.txt和抓取以及索引關(guān)鍵文檔》文章已經(jīng)歸檔,站長之家不再展示相關(guān)內(nèi)容,下文是站長之家的自動化寫作機器人,通過算法提取的文章重點內(nèi)容。這只AI還很年輕,歡迎聯(lián)系我們幫它成長:
11月30日消息:近日Google發(fā)布三個關(guān)鍵文檔,幫助站長了解谷歌蜘蛛抓取以及索引...
相關(guān)鏈接:Robots.txt標(biāo)準(zhǔn),Robots標(biāo)簽以及X-Robots-TagHTTP頭標(biāo)準(zhǔn),如何控制GoogleBot抓取以及索引...
當(dāng)一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面...
X-Robots-Tag標(biāo)簽允許站長向頭文件中添加信息,使搜索引擎能夠索引...
......
本文由站長之家用戶“Chinaz用戶投稿”投稿,本平臺僅提供信息索引服務(wù)。由于內(nèi)容發(fā)布時間超過平臺更新維護時間,為了保證文章信息的及時性,內(nèi)容觀點的準(zhǔn)確性,平臺將不提供完整的內(nèi)容展現(xiàn),本頁面內(nèi)容僅為平臺搜索索引使用。需閱讀完整內(nèi)容的用戶,請聯(lián)系作者獲取原文。
(舉報)