robots內容詳細解讀
robots.txt是純文本文件，用于聲明網站中不想被蜘蛛抓取的部分，robots不是一個規定,是一種約束
蜘蛛訪問網站的時候首先查看的是robots：如果存在就按照robots規則抓取、如果不存在蜘蛛就沿著鏈接直接爬行

1.robots作用
1.1、防止私密或重要的內容被搜索引擎抓取
1.2、節省服務器資源
1.3、減少重復抓取，提高網站質量
1.4、制定sitemap文件位置
2.寫法
該文件放置在文件的根目錄下，并且文件名必須小寫：http://www.dbgzs.shop/robots.txt
3.語法
3.1、User-agent:
3.1.1、指定哪個搜索引擎蜘蛛：Baiduspider（百度）、Googlebot（谷歌）、Sogouspider（搜狗）
3.1.2、*代碼所有搜索引擎

3.2、Allow:表示允許蜘蛛抓取的欄目或文件
3.2.1、Allow:/web/ 表示允許訪問web目錄
3.2.2、Allow:/*.htm$ 表示允許訪問html文件

3.3、Disallow：禁止抓取欄目或文件
Disallow:/web/：禁止抓取web目錄
Disallow:/*.htm$：禁止抓取html文件
Disallow:/ 禁止抓取網站所有內容：
/表示根目錄



4.工具：http://tool.chinaz.com/robots/
5.問題
5.1、如果搜索引擎已經收錄了你的網頁，這時候你不想讓搜索引擎收錄網頁 咋辦？
5.2、robots是不能刪除搜索引擎中已經收錄的頁面
5.3、robots meta標簽來解決該問題

6.robots meta標簽：針對具體的頁面
6.1、語法
6.1.1、（）：允許搜索引擎抓取頁面與頁面的鏈接
：不允許搜索引擎抓取頁面與允許頁面的鏈接
：允許搜索引擎抓取頁面與不允許頁面的鏈接
（）：不允許搜索引擎抓取頁面與不允許頁面的鏈接
7.解釋
index：表示搜索引擎可以抓取該頁面
noindex：表示搜索引擎不可以抓取該頁面
follow：表示搜索引擎蜘蛛可以爬尋該頁面的上的鏈接
nofollow：表示搜索引擎蜘蛛不可以爬尋該頁面的上的鏈接

提醒：有些時候也友情鏈接交換可能會被加上nofollow，大家可以查看一下（避免灰帽）

資訊來源：https://www.pos56.cn/SEOyouhua/133.html