<noframes id="jjr3b"><form id="jjr3b"><th id="jjr3b"></th></form>

    <noframes id="jjr3b"><span id="jjr3b"><span id="jjr3b"></span></span>

    <noframes id="jjr3b"><form id="jjr3b"><th id="jjr3b"></th></form>
    <form id="jjr3b"></form>

    <noframes id="jjr3b">
      18868949445

      荊門高端設計公司:關于robots.txt文件

      日期:2020-03-01 閱讀:340   作者:荊門網站設計開發公司

      那些創建網站的人使用robots.txt文件告訴網絡機器人,比如搜索引擎機器人如何在他們的網站上爬行特定的頁面。REP是一套規則,它規定機器人如何爬行網絡并處理它們遇到的內容。txt文件是該文件的一部分,并指示某些Web爬蟲是否能夠通過允許(或不允許)特定用戶代理的行為來爬行網站的各個部分。

      了解robots.txt很重要,因為它確實可以幫助或真正傷害您的網站。繼續閱讀,得到一個好的概念,什么是需要做的,以充分利用你的網站。


      ROBOTS.TXT文件重要嗎?

      如果您沒有正確地使用robots.txt,它確實會損害您的排名,因為文件控制搜索引擎蜘蛛或爬蟲如何查看和與您的網頁交互。機器人讀取robots.txt文件(如果有),這會告訴他們是否應該抓取您的站點,如果應該的話,在多大程度和什么時候。

      谷歌機器人首先看到的是一個網站的robots.txt。它這樣做是為了看看它是否有爬行的許可。您的robots.txt文件是一組針對機器人的指令,如果您知道自己在做什么,您可以讓它說出您想說的任何東西。您甚至可以設置一個延遲,以便機器人能夠爬行,但是在robots.txt文件中指定的時間段之后。

      如何判斷是否有robots.txt文件

      有一些方法可以判斷是否已經有robots.txt文件。最常見的方法是輸入根域URL,然后在其末尾添加/robots.txt。例如,如果您的網站是www.fan softhegrimreaper.com,輸入www.fan softhegrimreaper.com/robots.txt。如果沒有.txt頁面,那么當前沒有啟動和運行的robots.txt文件。

      這可以是好的,也可以是壞的,這取決于你想對你的網站做什么。如果您有robots.txt瓷磚,您必須確保它不會因為阻止不想阻止的內容而損害您的排名。

      創建robots.txt文件的原因

      雖然您不一定需要robots.txt文件,但在某些情況下,啟動并運行一個文件是有益的。如果您想要阻止某些搜索引擎中的內容,或者希望微調來自知名機器人的訪問,那么必須讓robots.txt正常運行?;蛘?,也許你的網站是實時的,但你仍然在編輯它,所以你還不想在搜索引擎中出現。

      您可以將robots.txt配置為遵守所有條件。大多數網站管理員具有創建、自定義和成功利用robots.txt文件的能力和權限。

      當沒有robots.txt文件時

      如果您的網站相對簡單,沒有錯誤,并且不包含任何您希望從搜索引擎中阻止的文件,那么您就沒有必要擁有robots.txt文件。即使您沒有robots.txt文件,搜索引擎機器人仍然能夠完全訪問您的站點,因此沒有理由擔心它們將無法找到您。實際上,如果您有robots.txt文件,他們可能會發現您要容易得多,特別是在配置不當或包含錯誤的情況下。

      如果你想讓任何人和每個人,越多,越開心,找到你的網站,看到它上的一切,你最好的選擇是不要有robots.txt文件。這沒有什么不對的,而且是一種普遍的做法。不要覺得你錯過了一些搜索引擎排名的關鍵工具。事實上,如果沒有robots.txt文件,您可能會享受到比其他文件更高的排名。



      如何創建ROBOTS.TXT文件

      如果您可以復制和粘貼,那么您也可以創建robots.txt文件。它非常簡單,不需要編程技巧。Microsoft Word或記事本就足夠了。沒有必要使用代碼編輯器。那太過分了。有無數的站點提供了如何設置robots.txt文件的說明。

      只需找到一個有您所需內容的示例,然后將文本復制并粘貼到您自己的文件中即可。不要害怕,因為它是一樣容易檢查和查看您的文件是正確的設置,因為它是要使它或修復它。有許多在線工具可以免費幫助你。

      robots.txt文件應該怎么說?

      robots.txt文件主要做三件事:它將允許、它將不允許,或者它將部分允許您的站點被爬行。如果你希望你的整個網站被抓取,你有三個選擇。首先,您不能有robots.txt文件,這意味著站點上根本不存在robots.txt文件。當機器人開始爬行時,它會立即查找robots.txt文件。如果它找不到一個,那么它將訪問您所有頁面上的所有內容,因為沒有什么不允許它訪問。

      您還可以創建一個空白或空的robots.txt文件。這將與沒有目的相同。當機器人來參觀時,它將沒有什么可讀的,它會再次爬過你所有的材料。如果不希望任何內容被機器人爬行,那么必須設置一個完全不允許的robots.txt文件。但是要小心,因為這將意味著Google和所有其他搜索引擎不會索引或顯示您的站點。不建議使用此方法。

      為什么要使用robots.txt文件

      如果你經歷了創建一個網站的時間、麻煩和花費,你很可能希望人們看到它,如果他們還不知道它的存在,就能找到它。爬蟲是你在搜索引擎排名中獲得更高排名的最佳選擇。有時,你可能不想讓你的網站到處爬行,至少現在是這樣。

      這方面的一個例子是,如果您有一個頁面,仍然是一個粗略的草稿?;蛘?,爬行延遲可能會派上用場,使您的服務器不會因為過多的流量而超載。你也可能不希望你的內部搜索引擎頁面出現在任何其他地方,因為它將失去上下文的意義。


      如何測試ROBOTS.TXT文件

      如果您已經設置了一個不允許或部分不允許robots.txt文件,那么檢查并確保其工作正常是一個好主意。有幾種免費工具可用于此。他們可以告訴你那些對谷歌很重要的文件是否被屏蔽了,還可以告訴你robots.txt文件是怎么寫的。


      打電話給所有的機器人

      txt文件非常類似于訪問站點的機器人的一組指導。如果您想對所有的機器人使用相同的指令集,可以為特定的機器人留下特定的說明,或者使用“通配符”。Googlebot和Bingbot是機器人的兩個例子,它們可能會訪問您的站點。一般來說,當機器人訪問您的站點時,這是一件好事,前提是您沒有任何信息或圖形,您不想被索引。

      如果是這樣的話,也許你應該重新考慮將你的私人內容發布到一個網站上。如果你有一張你不想讓別人看到的照片,它不應該出現在互聯網上。然而,如果你是一個專業攝影師想出售你的作品,那么你會想要小心,你的照片不能被偷。

      雖然你可能希望你的機器人能夠找到你的網站,因為你想找到新的客戶,你可能不想要的實際圖片,你想要出售,以顯示在搜索引擎的結果。如果您這樣做,確保它是版權或有水印在它上,使它不容易下載或以其他方式竊取。如果您有一張您覺得與您的站點無關的圖片,那么您可能希望robots.txt文件中有一個部分不允許的內容。

      什么是爬行延遲?為什么你應該關心?

      有時候,機器人會在你想要它們之前爬行,至少可以說,這是不可取的。Yahoo、Yandex和Bing是機器人的幾個例子,它們通常很快就會到達。您可以通過在robots.txt中將Crawa-Delay:10應用到您的塊中來阻止它們。這將使他們在爬行和重新進入你的網站之前等待10秒鐘。這將有助于如果你的網站變得太陷入交通堵塞。

      這個方法也是有幫助的,如果你是編輯一個現場網站,以便訪問者不會在不知不覺中發生在一個工作正在進行。這可能會導致他們認為網站是不合格的,再也不回來了。如果你延遲爬行器,這將減少發生這種情況的風險。

      你可能不想爬的東西

      在某些情況下,您可能不希望站點上的某些內容被機器人爬行。這可能包括你已經拍攝的個人照片,或者你不想公開的信息?;蛘?,您可能有一個內部搜索欄,它只在您的站點內進行搜索。

      這很好,但您不希望Google顯示某個搜索查詢結果可能顯示的頁面。這可能是無用的,或者更糟糕的是,混淆了一個潛在的新訪問者,他們不會花時間在你的網站上尋找相關信息。

      關于robots.txt文件您應該避免什么?

      爬行延遲有時是有用的,但你必須小心,因為它們很容易造成弊大于利。這可能是特別有害的,如果你有一個大的網站與許多網頁。你也應該避免阻止機器人爬行你的整個網站,因為你永遠不會出現在搜索引擎的結果。

      除非你是在為自己制作剪貼簿,或者你是一個非常私密的人,出于某種原因,你仍然想上互聯網,這是至關重要的,你必須出現在搜索引擎的結果中。事實上,許多人花費了大量的時間和金錢來努力提高他們的排名。通過在你的網站上禁止爬蟲,你可以說你的腳中了槍。


      結語

      決定是否要使用robots.txt文件非常重要,如果您決定要使用robots.txt文件,則決定是否正確地配置了robots.txt文件。不正確的robots.txt文件會阻止機器人對頁面或頁面進行索引,這將損害搜索引擎的排名。事實上,你甚至可能根本不出現。重要的是要記住,不使用robots.txt文件并不一定是壞事,如果您希望網站上的任何和所有東西都被機器人爬行。這是一種非常普遍和有用的做法,是完全可以接受的。

      txt只是一系列改進(或不改進)的方法之一,這取決于你最終想要做什么)你的搜索引擎排名。有些人活著是為了成為最好的。其他人更喜歡保密。這是你的網站,你可以用它做任何你想要的。

       


      网赚团队