11.11云上盛惠!海量產品 · 輕松上云!云服務器首年1.8折起,買1年送3個月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵眚v訊云選購吧!
很多新手建站朋友對robots協(xié)議文件的重要性不是很清楚,本篇文章由昆明SEO博主普及一下WordPress站點robots協(xié)議文件編寫知識。robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議 等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過robots協(xié)議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。robots協(xié)議主要注意以下幾大方面:
Robots文件是網站和蜘蛛程序之間的“君子協(xié)議”——robots文件不僅僅可以節(jié)省網站的資源,還可以幫助蜘蛛更加有效的抓取網,從而提高排名。
W3C是英文 World Wide Web Consortium 的縮寫,中文意思是W3C理事會或萬維網聯(lián)盟。W3C于1994年10月在麻省理工學院計算機科學實驗室成立。創(chuàng)建者是萬維網的發(fā)明者Tim Berners-Lee。