站長之家(Chinaz.com)2月6日消息 近日,國外SEO從業(yè)者Eli Schwartz分享了他使用Splunk的幾個心得。以下為Eli Schwarz(下文中的“我”)分享的經(jīng)驗:
想必每個對SEO技術感興趣的站長都希望能夠從更深層次了解網(wǎng)站架構(gòu)、以及谷歌搜索引擎的排名規(guī)則等。從我這些年研究SEO技術的經(jīng)驗來看,深入分析網(wǎng)站訪問日志能夠讓我更了解搜索引擎是如何“看待”網(wǎng)站的,而在眾多網(wǎng)站分析工具中,Splunk無疑是最讓我放心、也是最實用的一款。
注:Splunk是機器數(shù)據(jù)的引擎??捎糜谑占⑺饕屠盟袘贸绦?、服務器和設備(物理、虛擬和云中)生成的快速移動型計算機數(shù)據(jù) 。
1、監(jiān)測網(wǎng)站URL是否已被谷歌爬蟲抓?。ò俣戎┲?、雅虎爬蟲亦可監(jiān)測)
當網(wǎng)站生成了一個新的頁面,站長們最關心的自然是頁面的收錄問題。如果以快照作為指標,或許得在谷歌爬蟲抓取后的幾天(甚至幾個星期)才能確定是否已被收錄。要快點兒的話,可以直接在搜索引擎中搜索相關頁面的標題。
而最行之有效的便是查看網(wǎng)站日志,便可確定網(wǎng)頁是否已被谷歌爬蟲抓取。這就該用到Splunk了。
具體步驟:
1、首先選擇要查詢的時間段。時間段越短,響應速度自然越快,所以盡可能縮短查詢的時間差。
2、在查詢框中輸入以下查詢語句:
Index = {the name of your index} url stub AND googlebot
比如:如果你索引名是“Primary”,URL是“free-trial.html”,則查詢語句為:
Index=primary free-trial.html AND googlebot
1、查看日志
2、查找404頁面
404頁面是一種很招人煩的東西,98%的訪客在看到404頁面時,往往都會直接關閉頁面。這樣一來,你的網(wǎng)站不僅損失了一次展示內(nèi)容或產(chǎn)品的幾乎,用戶還默默的在心里給了你個差評。你:以后還來我們網(wǎng)站嗎?用戶:呵呵。
對于404頁面,你可以選擇使用ScreamingFrog之類的工具來查找修復。但是在失效頁面數(shù)量太多的情況下,你就該事實日志解析了。通過日志解析,你可以找出那些最多人訪問的404頁面,有選擇的來修復頁面、或是做跳轉(zhuǎn)。
設置Splunk來查找404頁面:
1、首先選擇查找時間差,我通常將其設為30天,你們可以按需隨意設置。
2、在查詢框中輸入以下查詢語句:
Index = {the name of your index} status = 404 | top limit = 50 uri
限制數(shù)量可自行確定,我比較喜歡定為50條URL。查詢語句執(zhí)行完成后,點擊Statistics選項,便可在列表中找出訪客最多的404頁面?zhèn)儭?/p>
2、查找404頁面
3、查找設置過302跳轉(zhuǎn)的頁面
不同于301跳轉(zhuǎn),302跳轉(zhuǎn)屬于暫時重定向。不過在很多鏈接價值測試中,302都能通過測試,而且也有排名。但由于前些年,不少黑帽SEO通過這項技術來獲取排名,如今很多搜索引擎都加大了對其的打擊力度。因而302跳轉(zhuǎn)只能用于那些只需做暫時跳轉(zhuǎn)的頁面。
通過Splunk查找302跳轉(zhuǎn)頁面的步驟:
1、同樣也是先選擇查找時間段,可按需設置,我喜歡將其設為30天。
2、輸入如下查詢語句:
Index = {the name of your index} status = 302 | top limit = 50 uri
跟查找404頁面一樣,可按需設置。
3、查找302跳轉(zhuǎn)頁面
4、統(tǒng)計每天被谷歌搜索引擎抓取的頁面
如果你有用過谷歌管理員工具,那么你對谷歌抓取URL的展示頁面一定不陌生。但這些數(shù)據(jù)是否準確,你得查看網(wǎng)站日志才能確定。
使用Splunk查詢每日抓取的URL步驟:
1、同樣也是選取時間,我還是喜歡設為30天(如果數(shù)據(jù)較多可以7天為單位)。
2、輸入查詢語句:
index ={name of your index} googlebot | timechart count by day
查詢語句執(zhí)行完后,點擊Statistics選項,則會看到谷歌爬蟲每天抓取的頁面數(shù)據(jù)。也可點擊“visualization”選項查看變化詳情。
4、谷歌爬蟲每日抓取頁面
(舉報)