核心提示:sina真的屏蔽了百度么?现在都在说sina屏蔽了,看看其文件.#开放百度的搜索引擎的User-Agent代码,*表示所有###########User-agent: Baiduspider#限制不能搜索的目录,Disallow: 为空时开放所有目录####Disallow: /admin/Disa...
sina真的屏蔽了百度么?
现在都在说sina屏蔽了,看看其文件.
#开放百度的搜索引擎的User-Agent代码,*表示所有###########
User-agent: Baiduspider
#限制不能搜索的目录,Disallow: 为空时开放所有目录####
Disallow: /admin/
Disallow: /include/
Disallow: /html/
Disallow: /queue/
Disallow: /config/
#限制的搜索引擎的User-Agent代码,*表示所有###########
User-agent: *
#临时限制对所有目录的禁止抓取
Disallow: /
#限制不能搜索的目录,Disallow: 为空时开放所有目录####
##Disallow: /admin/
##Disallow: /include/
##Disallow: /html/
##Disallow: /queue/
##Disallow: /config/
我只能说是限制了部分目录,并同时限制了所有爬虫访问 根目录,只要你能链接到你自己的目录,一样会被爬到。
我做了一个实验。在百度博客搜索中查“舟曲”。
可以看到 8月15日的博文被百度收录。
如果说百度网页搜索呢,我们看看这个图:
好像完全没有什么太多影响。