檢查 robots.txt 避免 AdSense 爬蟲出錯強化廣告匹配

檢查 robots.txt 避免 AdSense 爬蟲出錯強化廣告匹配

針對 Adsense 發佈商,可選擇文字圖像及原生廣告,與調整系統建議格式來優化,但其實部分站長會忽略,robots.txt 猶如守門人可決定網頁檢索器及搜尋引擎可存取、未經許可內容,要是廣告檢索器被封鎖則有可能降低內容匹配,解決方式可參考以下。

何謂 robots.txt 然而 Google 又拿來做甚麼用途??

 

說明:Google 谷歌是依據使用者所下的指令語法,將作為旗下服務爬蟲檢索器依據,說白話文我想就是通行證的概念,如想開放所有 Google 檢索器檢索網頁,則不必使用 robots.txt 檔案,相反地如果想要封鎖某些網頁,你只需要封鎖使用代理程式 Googlebot,就會一併封鎖其他 Google 爬蟲程式,亦可參考「Google 檢索器

 

然而檢索器又被稱為漫遊器或是自動尋檢程式,這是 Google 用於處理網頁內容並建立索引的軟體,然而針對 Google Adsense 廣告輪播系統也有專屬檢索器,會自動造訪網站並判斷其內容來提供相關廣告 (官方說明頁)。

 

下列是針對 AdSense 檢索器說明列表:

 

1. 檢索器會自動執行,而且報表會每週更新一次,無法為此要求提高檢索頻率。

2. AdSense 檢索器與 Google 檢索器不同,兩者個別運作但共用同個快取。

3. 檢索器會按網址如有子網域分別建立索引,但 site.com 和 site.com/#anchor 視同個網站。

4. 解決 AdSense 檢索器問題不等於解決 Google 檢索器問題,兩者不同架構不可混為一談。

5. 檢索器不會存取 robots.txt 明列禁止網頁或目錄,依據語法指令來抓取內容以符合規範。

 

robots.txt 設置教學:

 

至於如何讓 robots.txt 文件給 Google Adsense 檢索器爬蟲正確瀏覽,可在你的網站如  yourdomain.com/robots.txt 查看 robots.txt 檔案內容,只需要在該檔案加入以下這兩行,如此一來檢索器便能為網站內容建立索引,並且提供 Google 廣告進行曝光,至於語法及相關資訊亦可參考官方說明:連結

 

User-agent: Mediapartners-Google

Disallow:

 

然而本站所使用語法如下,可直接來參考看看。

 

檢查 robots.txt 避免 AdSense 爬蟲出錯強化廣告匹配

 

此外針對眾多用戶,所使用的 Blogger 與 WordPress 平台,下方也幫各位站長整理操作影片,其步驟還蠻直覺好上手的,至於其他 BSP (全名:Blog Service Provider) 部落格服務供應商,由於並無開放上傳 robots.txt 文件,這部份你得要和他們聯繫,也說不定網站後台就有此功能,得自行來研究摸索了。

 

 

如此一來 AdSense 廣告檢索器就能夠正常存取你的網站,在廣告匹配及品質上會更好內容,但需要注意此項調整不會影響搜尋結果排名。

 

若是你的網址有任何錯誤,亦可在 AdSense 帳戶 -> 帳戶設定 -> 檢索器存取權來進行更詳細資料的察看。

 

檢查 robots.txt 避免 AdSense 爬蟲出錯強化廣告匹配

 

此外若設定該檔案已允許 AdSense 廣告檢索器查看,但須注意的是部分發佈商網站採取會員制,要進行網頁瀏覽時要使用者登入,將有可能造成檢索器出錯,導致 Adsense 廣告關聯性與精準度降低,因此對於要登入才能瀏覽內容,務必設定可讓檢索器進入瀏覽。

 

你可以在帳戶設定 -> 存取權和授權區域,旁邊有新增登入資訊,系統會提示你填寫相關資訊,好讓 AdSense 檢索器進入網站並檢索內容,之後要是出現尚未驗證網站,記得登入「網站管理員工具」進行驗證,驗證完畢就能曝光更多匹配度高的廣告,更多資訊亦可在這查看 (連結)。

 

檢查 robots.txt 避免 AdSense 爬蟲出錯強化廣告匹配

檢查 robots.txt 避免 AdSense 爬蟲出錯強化廣告匹配

 

未來也會不定時提供最新又實用 Adsense 快訊,也歡迎大家定期追蹤,覺得喜歡也請不吝嗇留言及按讚分享。

 

Avatar for 史密斯先生

史密斯先生

同時身兼站長與網管,校長兼撞鐘一職,史密斯是個熱愛科技三吸阿宅,常在 PTT 批踢踢與歐美鄉民集散地 reddit 走跳,並且對 VPN & 翻牆跳板連線資訊特別感興趣,希望藉由「跳板俱樂部 VPN Club」平台讓大家掌握最即時又快速的網路動態。

留言板