11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵?lái)騰訊云選購(gòu)吧!
很多新手建站朋友對(duì)robots協(xié)議文件的重要性不是很清楚,本篇文章由昆明SEO博主普及一下WordPress站點(diǎn)robots協(xié)議文件編寫知識(shí)。robots協(xié)議(也稱為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議 等)的全稱是“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol),網(wǎng)站通過(guò)robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取,哪些頁(yè)面不能抓取。robots協(xié)議主要注意以下幾大方面:
Robots文件是網(wǎng)站和蜘蛛程序之間的“君子協(xié)議”——robots文件不僅僅可以節(jié)省網(wǎng)站的資源,還可以幫助蜘蛛更加有效的抓取網(wǎng),從而提高排名。
W3C是英文 World Wide Web Consortium 的縮寫,中文意思是W3C理事會(huì)或萬(wàn)維網(wǎng)聯(lián)盟。W3C于1994年10月在麻省理工學(xué)院計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室成立。創(chuàng)建者是萬(wàn)維網(wǎng)的發(fā)明者Tim Berners-Lee。