用户注册



邮箱:

密码:

用户登录


邮箱:

密码:
记住登录一个月 忘记密码?

发表随想


还能输入:200字

用户注册



邮箱:

密码:

用户登录


邮箱:

密码:
记住登录一个月 忘记密码?

发表随想


还能输入:200字

请选择技术分类

 *如果你找不到更细的分类,可以选择上级分类
当前位置:云代码 - 技术问答 - HTML

用框架调用页面,实现蜘蛛只能扒下内容,页面怎么布局扒不下来,不要robots文件

 悬赏:10 | 提问者:嘿嘿嘿丨 | 浏览:482
举报 | 2018-03-13
用框架调用页面,实现蜘蛛只能扒下内容,页面怎么布局扒不下来,不要robots文件
分享到:
更多
最佳回答
??

回答者:浅笑a

等级:中级程序员

积分:222

(0) | (0) 回答时间:2018-03-13

所有回答
#1 浅笑a
举报 | (0) | (0) 2018-03-13
??
  • 追问: 就是怎么能让爬虫扒不全网站
  • 回答: 叫姐姐 就告诉你
举报 | (0) | (0) 2018-04-09
网站的一个bbs调用模块,想禁止两个蜘蛛访问它,robots协议写法如下:

User-agent:SEOkicks-Robot
Disallow: /
User-agent: archive.org_bot
Disallow: /

放到bbs下面的robots文件里了。

但是还可以看到他们经常来,有什么办法禁止吗?

如果这样写,该放到网站的robots文件里还是bbs下面的robots文件里?

user-agent:*
Disallow:/bbs/

继续回答


相关提问