什么是網(wǎng)站robots.txt robot文件怎么寫

點擊數(shù)：3902018-04-24 10:36:35　來源: 藝之都網(wǎng)絡(luò)官網(wǎng)

什么是robots文件？

robots文件簡單的來說就是給你的網(wǎng)站做一個權(quán)限清單，一般是針對做SEO優(yōu)化的。在這個文件里面寫上哪些文件、哪些形式的鏈接允許搜索引擎抓取，哪些不允許。

為什么要放這個文件？放哪里？

在你的網(wǎng)站還沒有調(diào)整好的時候，不想讓搜索引擎收錄，可以通過這個文件屏蔽搜索引擎。就像QQ你隱身了別人就看不到你。

這個文件的名字就是robots.txt，是固定的，不管哪個網(wǎng)站要放這個都是這個名字。一般我們會把robots.txt放到FTP根目錄下。

如何屏蔽搜索引擎？

robots.txt就是一個記事本，所以只要在里面寫上如下內(nèi)容就可以屏蔽。

User-agent: *

Disallow:/

WP網(wǎng)站如何寫robots.txt？

最簡單的這樣寫就行了。

User-agent: *

Disallow: /wp-*

#Allow: /wp-content/uploads/

Disallow: /*.php$

Disallow: /*.inc$

Disallow: /*.js$

Disallow: /*.css$

Disallow: /?s=

robots.txt的寫法規(guī)則

User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符

Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄

Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄

Disallow: /ABC/ 這里定義是禁止爬尋ABC整個目錄

Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面

Disallow: /jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片

Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html文件。

User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符

Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄

Allow: /tmp 這里定義是允許爬尋tmp的整個目錄

Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。

Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例