<strike id="fnh1f"></strike>
<strike id="fnh1f"></strike>
<th id="fnh1f"></th>
<th id="fnh1f"><video id="fnh1f"><strike id="fnh1f"></strike></video></th>
<strike id="fnh1f"><dl id="fnh1f"></dl></strike>
<strike id="fnh1f"></strike>
<span id="fnh1f"></span>
<strike id="fnh1f"></strike>
<span id="fnh1f"></span>
<span id="fnh1f"><dl id="fnh1f"><ruby id="fnh1f"></ruby></dl></span>
<th id="fnh1f"><video id="fnh1f"></video></th>
<span id="fnh1f"></span>

robots.txt在線生成

默認 - 所有機器人是:
檢索間隔:
Sitemap: (留空為無)
普通搜索機器人: Google
googlebot
Baidu
baiduspider
MSN Search
msnbot
Yahoo
yahoo-slurp
Ask/Teoma
teoma
Cuil
twiceler
GigaBlast
gigabot
Scrub The Web
scrubby
DMOZ Checker
robozilla
Nutch
nutch
Alexa/Wayback
ia_archiver
Naver
naverbot, yeti
特殊搜索機器人: Google Image
googlebot-image
Google Mobile
googlebot-mobile
Yahoo MM
yahoo-mmcrawler
MSN PicSearch
psbot
SingingFish
asterias
Yahoo Blogs
yahoo-blogs/v3.9
限制目錄: 路徑是相對的,但每個路徑之前都要包含:"/"

什么是robots.txt文件

  • robots.txt(統一小寫)是一種存放于網站根目錄下的文本文件,它通常告訴網絡搜索引擎的漫游器(又稱網絡蜘蛛),此網站中的哪些內容是不應被搜索引擎蜘蛛獲取的,哪些是可以被(蜘蛛)獲取的。
  • 因為一些系統中的URL是大小寫敏感的,所以robots.txt的文件名應統一為小寫。robots.txt應放置于網站的根目錄下。
  • 如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為,那么可以將自定的設置合并到根目錄下的robots.txt,或者使用robots元數據。
  • robots.txt協議并不是一個規范,而只是約定俗成的,所以并不能保證網站的隱私。注意robots.txt是用字符串比較來確定是否獲取URL,所以目錄末尾有與沒有斜杠“/”表示的是不同的URL。robots.txt允許使用類似"Disallow: *.gif"這樣的通配符。
  • Robots協議是國際互聯網界通行的道德規范,基于以下原則建立:1、搜索技術應服務于人類,同時尊重信息提供者的意愿,并維護其隱私權;2、網站有義務保護其使用者的個人信息和隱私不被侵犯。

robots.txt文件內容

  • 搜索引擎蜘蛛的是否可訪問性或者說可爬行性。
  • 搜索引擎蜘蛛針對目錄或者文件的可訪問性。
  • 網站站點地圖sitemap路徑定義。
  • 搜索引擎蜘蛛爬行的時間間隔限制。

關于robots.txt文件生成器

  • 通過web界面設置好要配置的數據, 點擊生成器的生成即可在最下方的文本輸入框獲得robots.txt的文件內容。
  • 現在,你創建一個空白的文本文件,命名為:“robots.txt”,然后把上面的內容,復制并粘貼到“robots.txt”中去。
  • 把“robots.txt”放在你網站的根目錄,訪問robots.txt,確保他能讓訪問者(如搜索引擎)訪問到。

您最近使用了:

收藏 菜單 QQ
一女被二男吃奶A片在线观看,华人黄网站大全,精精国产XXXX69视频在线播放,国产黄在线观看视频免费