11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵?lái)騰訊云選購(gòu)吧!
在做SEO的過(guò)程中,我們總是會(huì)遇到各種莫名其妙的問(wèn)題,比如:某一天你的網(wǎng)站突然出現(xiàn)收錄緩慢的問(wèn)題,而平時(shí)都是秒收錄。
我們做SEO優(yōu)化要經(jīng)常分析網(wǎng)站日志,網(wǎng)站日志的分析和診斷就像給網(wǎng)站看病一樣,我們通過(guò)網(wǎng)站日志的分析,可以更加清楚的知道網(wǎng)站的健康狀況,可以利于這些數(shù)據(jù)讓我們更好的做網(wǎng)站SEO優(yōu)化,今天海瑤SEO發(fā)包技術(shù)小編和大家分享下網(wǎng)站日志分析和診斷,如果有什么不對(duì)的地方,可留言提問(wèn)大家一起探討交流!
在Seo優(yōu)化過(guò)程中,網(wǎng)站收錄問(wèn)題是很多Seoer極為關(guān)注的一個(gè)問(wèn)題。不僅要有收錄,收錄的網(wǎng)頁(yè)還必須是重要頁(yè)面,這里的重要頁(yè)面指的是——未來(lái)能給你帶來(lái)相關(guān)流量的頁(yè)面。這就要求Seoer需要具備一定的網(wǎng)站日志分析能力。
作為一名seoer,對(duì)網(wǎng)站日志分析是必需要掌握的一項(xiàng)基本的技能,通過(guò)日志分析可以分析爬蟲(chóng)抓取頁(yè)面有效性,通過(guò)日志分析蜘蛛返回的狀態(tài)碼能及時(shí)發(fā)現(xiàn)網(wǎng)站里面是否存在錯(cuò)誤或者蜘蛛無(wú)法爬取的頁(yè)面,排查網(wǎng)站頁(yè)面中存在的404錯(cuò)誤頁(yè)面,500服務(wù)器錯(cuò)誤等這些噪音內(nèi)容上噪音頁(yè)面上(重復(fù)頁(yè)面,低質(zhì)量頁(yè)面,空內(nèi)容頁(yè)面,404頁(yè)面,不排名頁(yè)面等)
W3Perl 是一個(gè)Web日志的分析工具,支持 FTP、Squid、郵件日志等,提供一個(gè)圖形化的界面,以及文本統(tǒng)計(jì)數(shù)據(jù),提供一個(gè)管理界面。
站長(zhǎng)們每天必做的一件事就是查看網(wǎng)站日志。一些站長(zhǎng)可能會(huì)質(zhì)疑是否有必要每天去查看網(wǎng)站日志,甚至認(rèn)為只要每天發(fā)布高質(zhì)量?jī)?nèi)容、建設(shè)高質(zhì)量外鏈就行了。事實(shí)上,作為一名優(yōu)秀的站長(zhǎng),查看網(wǎng)站日志是必要的。
在筆者看來(lái),網(wǎng)站日志所呈現(xiàn)的每一條記錄與其說(shuō)是痕跡,不如說(shuō)是鏡像來(lái)的貼切。
當(dāng)然很多時(shí)候你還會(huì)發(fā)現(xiàn)很多你看不懂的IP,大多時(shí)候都是你在用一些網(wǎng)站監(jiān)測(cè)工具的時(shí)候,它們模擬百度蜘蛛產(chǎn)生的IP,如站長(zhǎng)之家,愛(ài)站網(wǎng)等。這些的冒牌貨用NSLOOKUP命令一查便知,完全沒(méi)必要太過(guò)于在意。
自從自己從事SEO網(wǎng)站優(yōu)化以來(lái),自己慢慢的去關(guān)注網(wǎng)站日志。網(wǎng)站日志分析成為自己每天工作的第一件事情,每天一到公司第一時(shí)間就是對(duì)昨天的網(wǎng)站日志進(jìn)行分析。也許部分站長(zhǎng)們還不會(huì)分析網(wǎng)站日志,也有少部分覺(jué)得分析網(wǎng)站日志就是在浪費(fèi)時(shí)間,天天看著那些數(shù)據(jù)有什么作用。這里小編覺(jué)得至少有四點(diǎn)我們可以了解到。
作為一個(gè)站長(zhǎng),略懂網(wǎng)站日志分析,網(wǎng)站會(huì)更安全。網(wǎng)站日志可以從ftp或服務(wù)器上面下載。下載后,我們可以通過(guò)相應(yīng)的來(lái)源ip段進(jìn)行分析,判別這ip段是否屬于真實(shí)的蜘蛛。
作為SEOer,我們使用的各種各樣的工具,以收集各式各樣的技術(shù)問(wèn)題,網(wǎng)站分析,抓取診斷,百度站長(zhǎng)工具等。所有這些工具是有用的,但都無(wú)法比擬在網(wǎng)站日志數(shù)據(jù)分析搜索引擎蜘蛛抓取,就像Googlebot到爬取您的網(wǎng)站并您的網(wǎng)站上留下了一個(gè)真實(shí)的記錄。這是網(wǎng)絡(luò)服務(wù)器日志。
一個(gè)網(wǎng)站要發(fā)展的更快,走的更遠(yuǎn),它離不開(kāi)日常的一個(gè)數(shù)據(jù)分析,就如攜程旅行網(wǎng)頁(yè)搜索營(yíng)銷部孫波在《首屆百度站長(zhǎng)交流會(huì)》上所言,其利用數(shù)據(jù)模型對(duì)頻道改版后,網(wǎng)頁(yè)索引量從原來(lái)的十幾萬(wàn),上升到今年的500多萬(wàn)的索引量。由此可見(jiàn),數(shù)據(jù)分析的重要性。
通過(guò)對(duì)網(wǎng)站日志的分析,我們可以很好的判斷我們的網(wǎng)站的健康程度,并且還可以看到蜘蛛抓取的記錄以及用戶的一些行為記錄,這樣數(shù)據(jù)對(duì)于我們來(lái)講無(wú)疑是 提升網(wǎng)站的一個(gè)關(guān)鍵,可以時(shí)刻的讓我們看到網(wǎng)站的不足之處,從而進(jìn)行改正。然而今天小編與大家分享的主要是蜘蛛抓取的行為,希望對(duì)各位站長(zhǎng)有所幫助。
通過(guò)分析網(wǎng)站日志Log文件我們可以看到用戶和搜索引擎蜘蛛訪問(wèn)網(wǎng)站的行為數(shù)據(jù),這些數(shù)據(jù)能讓我們分析出用戶和蜘蛛對(duì)網(wǎng)站的偏好以及網(wǎng)站的健康情況。在網(wǎng)站日志分析中,我們主要需要分析的是蜘蛛行為。
在分析日志的時(shí)候需要用到的工具:光年日志分析工具、web log explorer、MSSQL。還有一點(diǎn),做好數(shù)據(jù)的分析excel是必備的,最近在看阿莫推薦的一本書,寫的挺好的《你早該這么玩excel》,推薦大家看看,基礎(chǔ)的應(yīng)用還是要會(huì)的。
從做SEO開(kāi)始老大就一直給我灌輸:“要做科學(xué)的SEO,不管流量是漲還是降都要知道其中來(lái)源,而要了解這些同時(shí)判斷網(wǎng)站流量的走向就必須要靠日志分析,而不是憑感覺(jué)的猜測(cè)是哪些因素使用流量發(fā)生變化”。因此從一開(kāi)始就從數(shù)據(jù)入手,對(duì)于網(wǎng)站的數(shù)據(jù)時(shí)實(shí)監(jiān)控,從數(shù)據(jù)中判斷網(wǎng)站的問(wèn)題所在,然后做出相應(yīng)的改變。這也是我們網(wǎng)站能一直穩(wěn)定發(fā)展從流量的直線下降到回升直到大漲的一個(gè)原因所在。
許多優(yōu)化人員忽略了網(wǎng)站日志的作用,而更多的優(yōu)化人員只通過(guò)日志分析工具去查看,所查看的內(nèi)容也不過(guò)是各搜索引擎蜘蛛的訪問(wèn)數(shù)量、停留時(shí)間、抓取頁(yè)面數(shù)、抓取目錄、返回代碼等,真正愿意從代碼中去看日志的,少之又少。
最近遇到一個(gè)網(wǎng)站被百度蜘蛛抓取首頁(yè)后大量返回304狀態(tài)碼的問(wèn)題,以前遇到過(guò)301和302,就是沒(méi)了解過(guò)304,剛好可以對(duì)這個(gè)情況進(jìn)行一下分析和觀察,以便比較深入的了解該問(wèn)題的出現(xiàn)以及應(yīng)對(duì)之策。
記得去年筆者剛?cè)腴TSEO時(shí),在SeoWhy懸賞了一個(gè)關(guān)于網(wǎng)站IIS日志的問(wèn)題,大概描述是:百度蜘蛛抓取網(wǎng)站,日志為什么會(huì)出現(xiàn)200 0 64代碼?64表示什么?
在seo逐步普及的大浪潮下,許多所謂的seoer都將她簡(jiǎn)單歸結(jié)為內(nèi)容和外鏈,其實(shí)這個(gè)說(shuō)法并沒(méi)有錯(cuò),內(nèi)容和外鏈的確是做seo最為重要的兩大手段,但這就好像某領(lǐng)導(dǎo)在某大會(huì)上發(fā)言:“我們要繼往開(kāi)來(lái),我們要卓越進(jìn)??!”,繼往開(kāi)來(lái)是對(duì)的,卓越進(jìn)取是對(duì)的,但靠什么繼往開(kāi)來(lái)、卓越進(jìn)取就不得而知了。
作為SEO新手一定要學(xué)會(huì)查看和分析網(wǎng)站日志,因?yàn)閺挠^看這些網(wǎng)站日志代碼當(dāng)中,可以分析出一個(gè)網(wǎng)站大體的狀況。
Godaddy主機(jī)果然傷透本人?。∮龅骄W(wǎng)通、鐵通、移動(dòng)啥的就打不開(kāi),今天總算弄到日志了,近七天的,用日志分析工具一看,結(jié)果跟我預(yù)期的很像,這樣說(shuō)也許不太準(zhǔn)確,應(yīng)該是超過(guò)我的預(yù)期。原以為服務(wù)器問(wèn)題會(huì)導(dǎo)致部分問(wèn)題從而影響排名,怎知道會(huì)引發(fā)這么多大問(wèn)題。
在分析日志的過(guò)程中,往往會(huì)發(fā)現(xiàn)404狀態(tài)下有一些或者很多的不完整的url或者比原url多出字段的莫名其妙的網(wǎng)站本身不存在的url的抓取。在群里面也見(jiàn)有人問(wèn)過(guò)類似的情況,覺(jué)得這是一個(gè)大家普遍都會(huì)遇見(jiàn)的問(wèn)題,有猜測(cè)過(guò)有可能是被別人采集才導(dǎo)致這樣的問(wèn)題出現(xiàn),在上課的時(shí)候問(wèn)過(guò)國(guó)平老大,當(dāng)時(shí)國(guó)平老大說(shuō)有可能是爬蟲(chóng)在抓取url的時(shí)候下載不完整,但是這都沒(méi)有一個(gè)具體的數(shù)據(jù)來(lái)支撐,總是覺(jué)得很朦朧沒(méi)把握。
對(duì)于很多做網(wǎng)站的新手來(lái)說(shuō),都沒(méi)有經(jīng)過(guò)系統(tǒng)地授課進(jìn)行網(wǎng)絡(luò)技術(shù)和建站知識(shí)學(xué)習(xí),做網(wǎng)站都是靠自學(xué),遇到難題在論壇發(fā)帖提問(wèn),更不會(huì)懂得網(wǎng)站優(yōu)化,對(duì)于較基本操作——通過(guò)網(wǎng)站日志看蜘蛛來(lái)訪情況都不知到哪里看,怎么看。前兩天看到很多人發(fā)帖提問(wèn),回復(fù)者的答案卻比較精煉,不具體,提問(wèn)者還是云里霧里的,現(xiàn)我就以自己的網(wǎng)站來(lái)系統(tǒng)地操作一次,提交給大家參考,有說(shuō)錯(cuò)的地方,請(qǐng)批評(píng)指正。
知道如何查看網(wǎng)站日志和了解網(wǎng)站日志的作用還是遠(yuǎn)遠(yuǎn)不夠的,最重要的是你還要學(xué)會(huì)分析日志。
我們查看網(wǎng)站日志的時(shí)候會(huì)看到百度蜘蛛:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)來(lái)爬行我們的網(wǎng)頁(yè)。大家現(xiàn)在都知道有些站長(zhǎng)工具或者采集程序,冒充百度蜘蛛來(lái)爬行我們的網(wǎng)站,那么我們?cè)趺磁袛嗯佬形覀兙W(wǎng)站的是不是真正的百度蜘蛛呢。
很多站長(zhǎng)在運(yùn)營(yíng)網(wǎng)站的時(shí)候,往往都本著內(nèi)容為王,外鏈為皇的原則,很少通過(guò)數(shù)據(jù)分析來(lái)指導(dǎo)自己的網(wǎng)站運(yùn)營(yíng),網(wǎng)站日志的分析更是被廣泛的忽視。其實(shí)網(wǎng)站日志本身就是一個(gè)很好的工具,日志的數(shù)據(jù)往往就是易經(jīng)的卦爻詞,通過(guò)這些數(shù)據(jù)往往能夠找到成功運(yùn)營(yíng)網(wǎng)站的密碼。
各位站長(zhǎng)朋友通常都會(huì)給自己的網(wǎng)站安裝cnzz、百度統(tǒng)計(jì)等站長(zhǎng)統(tǒng)計(jì)工具,可是,這些站長(zhǎng)統(tǒng)計(jì)工具不會(huì)記錄網(wǎng)絡(luò)蜘蛛的爬取情況。一些站長(zhǎng)朋友通常會(huì)用日志分析工具對(duì)網(wǎng)站日志分析蜘蛛爬取情況。
前幾天,本人建了一個(gè)新站,本人對(duì)這個(gè)網(wǎng)站的期望值比較高,希望能做好,并能產(chǎn)生些收益,所以從網(wǎng)站的界面設(shè)計(jì)、功能設(shè)計(jì)、SEO優(yōu)化等方面都比較用心。在優(yōu)化網(wǎng)站的過(guò)程中,從一些SEO資料上知道了網(wǎng)站日志的知識(shí),了解到網(wǎng)站日志有記錄搜索引擎訪問(wèn)情況的功能,所以開(kāi)始
對(duì)于seo來(lái)說(shuō),網(wǎng)站日志是觀察一個(gè)網(wǎng)站發(fā)展的晴雨表,目前多數(shù)seoer用的是iis網(wǎng)站日志,也有人使用apache網(wǎng)站日志。而我就是使用后者。就二者比較而言,我個(gè)人認(rèn)為apache不及iis好看懂。