如何邀請各搜尋引擎的蜘蛛、爬蟲、機器人、Robot光臨您的網站?編輯製作上傳robots.txt檔案到伺服器虛擬主機網站根目錄,透過百度搜索資源平台Bing網站管理員與Google Console的robot驗證的步驟教學是最佳答案,讓您網站流量,搜索排名,搜尋引擎優化SEO皆優。
自架網站,製作美美頁面,完成一篇篇深入淺出,引人入勝的文章,當然就是希望有緣人可以一親芳澤,茫茫網海,如何媒介有緣人與您的大作結緣呢?
社群媒體,網路論壇當然都是不錯的平台,然而透過搜尋引擎找到您的文章,當然是最有需求與熱情的網路有緣人。
問題是,搜尋引擎面對每分每秒產出的龐大海量文章頁面與圖片,如何確認您的大作儘速收錄其中呢?最簡單的方法當然就是[自首]~自投羅網囉!
自投羅網之前,搜尋引擎必得先了解您是否對該網址是否擁有網域所有權,因此需要認證的程序。
接下來,當然就是提供您阡陌交錯的網站地圖,也就是俗稱的sitemap。
再來,當然就是更精準地讓搜尋引擎針對特定作品的網址,進行內容,屬性,關鍵字等等搜尋重要信標指標的資料蒐集。我們網站管理員這裡所要做的,當然就是提交個別網址的動作。
而提交網址之前,我們必須先確定伺服器的保全設定,是允許個搜尋引擎的蜘蛛、爬蟲、機器人(robot)進入特定領域蒐集網站資料的。
問題是,網站中有些資料是公開的,有些為了保全保安,網站安全,避免駭客入侵,植入木馬或釣魚程式,甚至基於法律規範與公司信譽,對於個人隱私權的保護,在在需要屏除外界的探訪,這要如何設定呢?
本文的目的就是要介紹您最簡便的方式,製作一份放諸四海而皆準,簡單扼要,既能讓各搜尋引擎的蜘蛛、爬蟲、機器人(robot)都能一目瞭然,也能令其謹守規範,不要隨便到處亂逛,這樣的制式邀請函,業界稱之為robots.txt的文字檔。
既然是文字檔,我們不妨先展示其內容,讓您可以依樣畫葫蘆,製作屬於您網站的robots.txt檔案,也會為您詳細步驟教學,讓您了解如何擺放該檔案,如何在各搜索引擎確認他們都可以接獲您的盛情邀請。
編輯製作robots.txt檔案,我都習慣採用簡單易學超好上手,中文版的免費開源編輯軟體[Notepads++],也在此推薦您使用。
如果目前您的伺服器虛擬主機只有單一網站,或是您要為多網站的伺服器之中的主網域(primary domain)的網站編輯製作robots.txt檔案,那麼,就請採用以下的robots.txt檔案內容,將其複製貼上,在將第一行中的"https://www.twdreamspace.com”字樣改成您的網站正確首頁網址即可。
Sitemap: https://www.twdreamspace.com/sitemap.xml
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
如果目前您的伺服器虛擬主機是多網站,您正要為多網站伺服器之中的其中一個附加網域(addon domain)的網站編輯製作robots.txt檔案,那麼,就請採用以下的robots.txt檔案內容,將其複製貼上,在將第一行中的"https://www.interiordesign1st.co”字樣改成您的附加網站正確首頁網址即可。
Sitemap: https://www.interiordesign1st.co/sitemap.xml
User-agent: *
Disallow: /wordpress/wp-admin/
Allow: /wordpress/wp-admin/admin-ajax.php
接下來,當然是請您將編輯製作完畢的robots.txt檔案存檔,現在要來進行檔案上傳的動作囉!
接下來,敬請登入虛擬主機代管廠商bluehost的網頁,如下圖所示。我們準備將編輯製作完成的robots.txt檔案,透過File Manager的專用程式上傳到您的虛擬主機伺服器,屬於該網域的根目錄。
因此,敬請如上圖所示,點擊File Manager的圖示,畫面即會更新如下圖所示。
在此特別貼心為您放大對話框畫面,如下圖所示。
在敬請點擊上圖對話框中的[sunbmit](提交)按鈕,就會更新畫面,如下圖所示。
敬請點擊新網站的根目錄,如果是該虛擬主機的第一個網站,或是多網站裏頭的主網站(primary domain),則請點擊public_html目錄。
如果是該虛擬主機的多個網站裏頭的附加網站(addon domain),則請點擊該網域名稱的目錄,例如上圖為例,該附加網站的域名為"interiordesign1st.co",則其根目錄的名稱就是"interiordesign1st"。
點選檔案所將儲存的網站根目錄之後,敬請點擊此特寫畫面中的[上傳]按鈕,進行檔案上傳的動作,如上圖所示。
接下來瀏覽器就會開啟一新視窗,好讓您開始後續的檔案上傳動作,如下圖所示。
茲將上圖畫面特寫放大,如下圖所示。
當檔案上傳完成,就會在上傳檔案畫面的最右下角此圖示下方出現"complete"字樣,如上圖所示。
接下來,為了謹慎起見,您不妨在瀏覽器另開一新視窗,在其網址列書如您的新網站首頁網址,在該網址之後緊接著輸入"/robots.txt"字樣,就可以驗證檔案是否上傳正常,有無錯誤,如以下兩圖所示。
當然,最正式的方式,還是在各搜尋引擎網站管理員平台的網頁上,使用其專屬的驗證程序,才是最好的。
既然您剛剛學過Bing網站管理員與百度搜索資源平台的相關步驟教學,本文就暫時先交這兩款搜尋引擎的robot邀請實務,為您做深入淺出的介紹。
咱們這就從Bing網站管理員的robots.txt驗證體驗先開始,為您做深入淺出的介紹。首先敬請先登入Bing網站管理員頁面並點選您想要管理的網域的網址,如下圖所示。
接下來請將Bing網站管理員畫面的左側邊欄往上滾動,就可以看到[以Bingbot進行擷取]按鈕,如下圖所示。
點擊該按鈕之後,畫面就會更新如下圖所示。
敬請在上圖的輸入欄位,輸入您的robots.txt檔案的網址,只要將上圖中"https://www.interiordesign1st.co”字樣改為您的站點首頁網址即可。
輸入完畢之後,敬請點擊其右方的[擷取]按鈕。因為剛剛我們已經在瀏覽器成功驗證過了,所以必然出現以下的新畫面。。
恭喜老爺!賀喜夫人!
您的網站已正式邀請Bing搜尋引擎的Bingbot機器人隨時光臨指教囉!
接下來,我們就開始進行百度搜索資源平台,關於機器人邀請的驗證程序吧!
首先,敬請登入百度搜索資源平台,並點選正確站點,如下圖所示。
緊接著敬請將畫面左側邊欄往上滾動,就會看到[數據監控]下方的[Robots]按鈕,如下圖所示。
茲敬請點擊該[Robots]按鈕,畫面就會更新,如下圖所示。
敬請點擊上圖中的[檢測並更新]按鈕,畫面就會更新,如下圖所示。
恭喜老爺!賀喜夫人!
您也成功邀請了百度搜索資源平台的搜尋機器人,三不五時光臨您的網站,好彙報您的相關公開訊息與網頁文章最新消息給百度搜索引擎精心彙整囉!
至於搜尋引擎的全球龍頭Google搜尋引擎robot邀請與驗證,則是目前看來最簡單的。
敬請登入Google Console並點選確認網站即可點擊[提交]按鈕,如下圖所示。
按鈕一按之後,約一分裝不到的光景,就完成了,真是親民的操作介面!
真是令人興奮,您畢生第一次與著名的Bing搜尋引擎和中文世界獨占鰲頭的百度搜索引擎,連搜尋引擎的龍頭老大,Google,也不例外,都同時遞交了正式的邀請函robots.txt檔案,而它們也當面簽收了!
由於您的天資聰穎,難怪就這麼順利完成了!
而這意味著,您的網站與大作,將會有機會透過Google、Bing與百度的搜尋引擎,與全世界的網友,藉由關鍵字的搜尋而結緣,真是太棒了!
然後,一回生二回熟,未來關於全世界最強大的幾個搜尋引擎,在其他申請驗證方面,對於您而言應該也都不會是難事,而是易如反掌,才對!
總公司地址:台灣省新竹縣竹北市福興路1028巷1號
台中分公司:台灣省台中市北屯區崇德路二段462號9樓之一
聯絡人:張世忠先生(0939-061-556)
電子信箱:mark.chang.1031@gmail.com