很多剛接觸SEO的朋友還不怎么了解robots是什么，其實(shí)robots是一個(gè)跟目錄文件，雖然操作和用處極為簡(jiǎn)單，但是它在SEO優(yōu)化推廣中的有著至關(guān)重要的意義。
它的用處就是指定哪些搜索引擎蜘蛛可以抓取內(nèi)容，以及禁止搜索引擎蜘蛛抓取網(wǎng)站的部分或全部?jī)?nèi)容。看到這里想必已經(jīng)明白了吧，就是說不小心禁止某個(gè)搜索引擎抓?。ū热绨俣龋敲丛谶@搜索引擎上就不會(huì)有收錄更別說排名了，也就搜索不到網(wǎng)站里面的任何內(nèi)容。
那么怎么使用呢？
Robots.txt 文件放在網(wǎng)站根目錄下，并且該文件是可以通過互聯(lián)網(wǎng)進(jìn)行訪問的。 例如：如果您的網(wǎng)站地址是 http://www.dgce.com.cn/那么，該文件必須能夠通過 http://www.dgce.com.cn/robots.txt 打開并看到里面的內(nèi)容。
如果要調(diào)整改動(dòng)就需要通過FTP鏈接服務(wù)器進(jìn)行改動(dòng)了，云主機(jī)可以通過遠(yuǎn)程桌面直接修改，有些主機(jī)供應(yīng)商的管理后臺(tái)有支持文件控制的也可以直接操作修改。
里面涉及到的幾個(gè)點(diǎn)分別是【User-agent】【Disallow】【Allow】【Sitemap】
User-agent：用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多條User-agent記錄說明有多個(gè)robot會(huì)受到該協(xié)議的限制，對(duì)該文件來說，至少要有一條User-agent記錄。如果該項(xiàng)的值設(shè)為*，則該協(xié)議對(duì)任何機(jī)器人均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。
Disallow：用于描述不希望被訪問到的一個(gè)URL，這個(gè)URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會(huì)被robot訪問到。
Allow：用于描述希望被訪問的一組URL，與Disallow項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項(xiàng)的值開頭的URL是允許robot訪問的。
Sitemap：用于標(biāo)注網(wǎng)站地圖鏈接sitemap.xml，增加Sitemap谷歌為xml格式，百度為html格式
例如：
User-agent: Baiduspider【允許百度蜘蛛收錄】
Disallow: User-agent: Sosospider【禁止搜搜蜘蛛收錄】
Disallow: /bin/【禁止抓取bin文件里面的內(nèi)容】
Allow：/product/【允許抓取product欄目類容】
Sitemap: http://www.dgce.com.cn/sitemap.xml【本站的網(wǎng)站地圖是sitemap.xml】
