robots/爬虫协议

2013年06月06日10:14 | 中国发展门户网 www.chinagate.cn | 给编辑写信 字号:T|T
关键词: 搜狗 搜索引擎 输入法 抓取 robots 超级短信 微软 隐私 用户信息 音频
robots协议也称爬虫协议,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。robots协议是国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。
返回顶部文章来源: 中国发展门户网