www在线观看视频免费-www在线观看免费视频-www永久免费视频-www一区二区-自愉自愉自产国产91-自偷自偷自亚洲首页精品

什么是robots文件？


robots文件簡單的來說就是給你的網站做一個權限清單，一般是針對做SEO優化的。在這個文件里面寫上哪些文件、哪些形式的鏈接允許搜索引擎抓取，哪些不允許。

為什么要放這個文件？放哪里？


在你的網站還沒有調整好的時候，不想讓搜索引擎收錄，可以通過這個文件屏蔽搜索引擎。就像QQ你隱身了別人就看不到你。

這個文件的名字就是robots.txt，是固定的，不管哪個網站要放這個都是這個名字。一般我們會把robots.txt放到FTP根目錄下。

如何屏蔽搜索引擎？


robots.txt就是一個記事本，所以只要在里面寫上如下內容就可以屏蔽。

User-agent: *

Disallow:/

WP網站如何寫robots.txt？


最簡單的這樣寫就行了。

User-agent: *

Disallow: /wp-*

#Allow: /wp-content/uploads/

Disallow: /*.php$

Disallow: /*.inc$

Disallow: /*.js$

Disallow: /*.css$

Disallow: /?s=

robots.txt的寫法規則


User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符

Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄

Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄

Disallow: /ABC/ 這里定義是禁止爬尋ABC整個目錄

Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

Disallow: /*?* 禁止訪問網站中所有的動態頁面

Disallow: /jpg$ 禁止抓取網頁所有的.jpg格式的圖片

Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html文件。

User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符

Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄

Allow: /tmp 這里定義是允許爬尋tmp的整個目錄

Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。

Allow: .gif$ 允許抓取網頁和gif格式圖片robots.txt文件用法舉例

【責任編輯：藝之都網站微信APP開發公司】                                                             (Top) 返回頁面頂端