Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是“網(wǎng)絡爬蟲排除標準”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

顯示在搜索引擎結(jié)果下的鏈接，意在引導用戶到網(wǎng)站的子頁面。

他們出現(xiàn)在品牌自然搜索和付費服務提供商。你可以通過使用谷歌/百度廣告在付費網(wǎng)頁中建立網(wǎng)站鏈接。

通過品牌自然搜索則是另外一種情況，該過程是自動化的，因此你不能影響是否有站點鏈接、鏈接的數(shù)量以及鏈接到的頁面。你所能做的就是確保網(wǎng)站優(yōu)化能夠提供良好的用戶體驗。

Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是“網(wǎng)絡爬蟲排除標準”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。也叫機器人排除標準（Robots Exclusion Standard），網(wǎng)站使用的文本文件，用于與網(wǎng)絡機器人（最常見的SE機器人）進行通信，以處理網(wǎng)站的每個頁面。在這里，您可以將某些頁面設置為漫游器的禁區(qū)，并僅掃描最有用的內(nèi)容。