www.qianyikeji.com 之前網(wǎng)站在上線添加完善內(nèi)容的時(shí)候設(shè)置了robots屏蔽搜索引擎抓取，中間可能持續(xù)了有2周左右的時(shí)間，現(xiàn)在網(wǎng)站資料已經(jīng)添加完善，解除了robots屏蔽；但在百度搜索網(wǎng)址，仍然顯示“由于該網(wǎng)站的robots.txt文件存在限制指令（限制搜索引擎抓取），系統(tǒng)無法提供該頁面的內(nèi)容描述 - 了解詳情”，這邊已經(jīng)向百度提交了網(wǎng)址 sitemap地圖等 但是現(xiàn)在一個(gè)多月過去了 還是沒有解除。

通過以上我百度了好多資料 原來不是馬上能解除的一般要在2個(gè)月左右才能解除。

如果網(wǎng)友遇到這樣的情況一般你解除限制2個(gè)月內(nèi)會(huì)恢復(fù)正常，原因是：首先要理解的就是robotx.txt是一個(gè)搜索引擎抓取協(xié)議而非指令，你解除但是在搜索引擎方面是有記錄的，所以不可能解除之后立即生效而是有延遲生效的情況。

在大連網(wǎng)站制作公司小編慎重的提醒各位朋友，新建的網(wǎng)站，千萬不要先把網(wǎng)站文件上傳到空間后加個(gè)robots.txt，然后填充信息，填充好了才開放抓取。如果可以在本地把網(wǎng)站建好，填充好內(nèi)容再上傳最好，否則上傳到空間加robots禁止抓取，等開放抓取的時(shí)候，百度蜘蛛很可能又會(huì)幾個(gè)月時(shí)間都反應(yīng)不過來。幾個(gè)月后網(wǎng)站才被收錄，對(duì)網(wǎng)站優(yōu)化的周期影響無疑是巨大的。