...

360推出搜索一年多时间，相关数据显示其搜索市场份额已经超过了20%，给百度搜索造成了很大冲击，为限制360的发展速度，百度利用Robots协议白名单禁止360抓取百度百科、百度贴吧和百度知道的内容，而谷歌、Bing、搜狗和搜搜等搜索引擎还可以自由抓取，百度对Robots协议的使用具有歧视性，360拒绝遵守，百度遂起诉360不遵守Robots协议。

对此，中国电商法律服务联盟理事长，北京市邦盛律师事务所电商法律服务中心主任刘辉律师在接受记者采访时称，Robots协议只是一个行业间约定俗成的协议，不是行业规范，更不具备法律效力，因此不能作为解决法律纠纷中的依据。

Robots 协议是由荷兰籍网络工程师Martijn Koster于 1994 年首次提出( Martijn Koster 被誉为“ Robots 之父”)，并于 1997 年向 IETF 提交申请试图把 Robots 协议作为该组织规范，但被 IETF 拒绝。之后，国际电信联盟( ITU )、 W3C 的规范也同样拒绝采纳 Robots 协议。原因是欧美电信专家担心，由于 Robots 协议包含排斥性条款，搜索巨鳄可能会利用 Robots 协议的条款，迫使某些热门网站与其签署排他性协议，从而将后起竞争者挡在门外，维护垄断。

Martijn Koster自己也曾说过，Robots协议就是一种行业约定俗成，没有任何法律效力。目标主要是为了规范搜索引擎与提供内容的网站间的内容抓取和引用。

百度建立Robots协议白名单，只限制360搜索进行内容抓取，具有一定的歧视性，其目的显然不是维护产品间游戏规则的健康有序，而是将Robots协议作为一种打压对手的竞争工具，这显然有违Robots协议制定的初衷。

来源http://www.senn.com.cn/hlw/2013/10/16/13428.html