網(wǎng)站 robots.txt 文件配置方法，如何利用robots協(xié)議禁止收錄網(wǎng)站某一篇文章地址呢，今天跟著青島建站公司青華互聯(lián)的小編一起學(xué)學(xué)吧。

搜索引擎通過(guò)網(wǎng)絡(luò)蜘蛛抓取網(wǎng)頁(yè)的內(nèi)容，并展示在相關(guān)的搜索結(jié)果中。但是有些網(wǎng)頁(yè)內(nèi)容我們可能并不想被搜索引擎收錄和索引，如管理員后臺(tái)等。

我們就可以通過(guò) robots.txt 文件來(lái)聲明允許/禁止搜索引擎的蜘蛛抓取某些目錄或網(wǎng)頁(yè)，從而限制搜索引擎的收錄范圍。

什么是 robots.txt

Robots是站點(diǎn)與spider溝通的重要渠道，站點(diǎn)通過(guò)robots文件聲明本網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

Robots.txt用法：

User-agent：用于指定指令所作用于的目標(biāo)抓取工具（網(wǎng)絡(luò)蜘蛛），后接抓取工具名稱(chēng)；

Disallow：指定不允許抓取的目錄或網(wǎng)頁(yè)，后面為空則表示允許抓取一切頁(yè)面；

Allow：指定允許抓取的目錄或網(wǎng)頁(yè)；

Sitemap：站點(diǎn)地圖的位置，必須是絕對(duì)路徑；

*：表示通配符；

$：表示網(wǎng)址結(jié)束；

/：匹配根目錄以及任何下級(jí)網(wǎng)址。

禁止抓取某一個(gè)超鏈接：

Disallow: /news/hangye/88.html

robots.txt文件用法舉例：

Robots.txt工具：

http://tool.chinaz.com/robots/

以上內(nèi)容就是關(guān)于如何利用robots協(xié)議禁止收錄網(wǎng)站某一篇文章地址的方法了，你學(xué)會(huì)了嗎？更多網(wǎng)站優(yōu)化知識(shí)請(qǐng)查看青島建站公司青華互聯(lián)官網(wǎng)的其他文章吧。

掃描二維碼手機(jī)查看該文章