《百度站長平臺VIP大講堂(上海站)QA集錦——抓取建庫篇》文章已經(jīng)歸檔,站長之家不再展示相關(guān)內(nèi)容,下文是站長之家的自動化寫作機器人,通過算法提取的文章重點內(nèi)容。這只AI還很年輕,歡迎聯(lián)系我們幫它成長:
各位站長參加百度站長平臺VIP大講堂,除了聆聽官方聲音外,更重要的是可以與百度專家進行面對面的溝通...
答:百度會周期建庫,且每個庫的收錄量是恒定的,你老是有新增,肯定會再從庫里淘汰一些,反正總是保持那個庫是滿的...
問:現(xiàn)在我的網(wǎng)站被很多蜘蛛爬,我想只讓百度蜘蛛爬,百度蜘蛛IP多少?能設(shè)白名單么?...
問:如果我寫robots只想禁掉動態(tài)鏈接的話,會不會影響動態(tài)參數(shù)前面正常鏈接的抓???...
問:我想了解,如果我現(xiàn)在收錄有5萬,大概多長時間才能把我原來收錄5萬重新抓取一遍?...
問:如果說頁面里url特別多的話,蜘蛛會不會有選擇性的進行抓?。?..
答:不會,他都會一個不漏給你提出來,但會把JS、CSS這樣的鏈接給過濾掉...
......
本文由站長之家用戶“中國站長站”投稿,本平臺僅提供信息索引服務(wù)。由于內(nèi)容發(fā)布時間超過平臺更新維護時間,為了保證文章信息的及時性,內(nèi)容觀點的準(zhǔn)確性,平臺將不提供完整的內(nèi)容展現(xiàn),本頁面內(nèi)容僅為平臺搜索索引使用。需閱讀完整內(nèi)容的用戶,請聯(lián)系作者獲取原文。
(舉報)