上海网站关键词排名优化推广服务公司——奇商网络。24小时快速咨询:13512180996

robots是什么意思

    robots是什么意思?

    robots直接翻译成中文是机器人的意思,多指网络爬虫机器人,即可搜索引擎爬取信息的程序。

    robots协议20世纪末期,大约在1993年之前就已经出现的一个协议。1994年6月30日经过专业人员的讨论后正式生效的一分行业规范。

    目前主流的搜索引擎百度、google、360和搜狗等搜索引擎都遵循robots协议;

    robots协议的主要目的是防止程序去检测不希望被搜索的信息,主要包括网站后台、支付文件夹、升级文件夹等私密的网站后台程序或页面。百度曾经使用该协议组织360搜索引擎抓取百度搜索结果页面,实质上已经违背了robots协议的精神,因为百度搜索结果页面信息也是抓取其他网站的信息,但从商业的角度来分析360搜索引擎的确有点过分。

    2011年京东也曾经封杀过一淘网的搜索引擎,防止对其内容的窃取。

    奇商点评robots本身就是为了防止私密信息被爬取,公开信息被爬取不应该被各大互联网公司利用,比如说淘宝网上的公开售价理应是可以被其他互联网公司的程序进行抓取的。