這里有一點(diǎn)需要注意的是,robots文件的最主要作用是,禁止搜索蜘蛛抓取頁面上的內(nèi)容,而不是禁止搜索引擎索引,如果某網(wǎng)站A在robots.txt中,禁止了所有搜索引擎來爬取網(wǎng)站,但是在另一個(gè)已經(jīng)被搜索引擎收錄和抓取的網(wǎng)站B上,有鏈接或者錨文本指向網(wǎng)站A,如果搜索引擎抓取并收錄該鏈
......
111本文由站長之家用戶投稿發(fā)布于站長之家平臺(tái),本平臺(tái)僅提供信息索引服務(wù)。為了保證文章信息的及時(shí)性,內(nèi)容觀點(diǎn)的準(zhǔn)確性,平臺(tái)將不提供完全的內(nèi)容展現(xiàn),本頁面內(nèi)容僅為平臺(tái)搜索索引使用。需閱讀完整內(nèi)容的用戶,請(qǐng)查看原文,獲取內(nèi)容詳情。
(舉報(bào))