用户注册



邮箱:

密码:

用户登录


邮箱:

密码:
记住登录一个月忘记密码?

发表随想


还能输入:200字

用户注册



邮箱:

密码:

用户登录


邮箱:

密码:
记住登录一个月忘记密码?

发表随想


还能输入:200字

请选择技术分类

 *如果你找不到更细的分类,可以选择上级分类
当前位置:云代码 - 技术问答 - HTML

用框架调用页面,实现蜘蛛只能扒下内容,页面怎么布局扒不下来,不要robots文件

 悬赏:10|提问者:嘿嘿嘿丨|浏览:2196
举报|2018-03-13
用框架调用页面,实现蜘蛛只能扒下内容,页面怎么布局扒不下来,不要robots文件

最佳回答
??

回答者:浅笑a

等级:中级程序员

积分:222

(5) | (5) 回答时间:2018-03-13

所有回答
举报|(5)|(5)2018-03-13
??
  • 追问:就是怎么能让爬虫扒不全网站
  • 回答:叫姐姐 就告诉你
举报|(3)|(3)2018-04-09
网站的一个bbs调用模块,想禁止两个蜘蛛访问它,robots协议写法如下:

User-agent:SEOkicks-Robot
Disallow: /
User-agent: archive.org_bot
Disallow: /

放到bbs下面的robots文件里了。

但是还可以看到他们经常来,有什么办法禁止吗?

如果这样写,该放到网站的robots文件里还是bbs下面的robots文件里?

user-agent:*
Disallow:/bbs/
举报|(3)|(3)2018-08-24
<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
      package="me.gacl.ui"
      android:versionCode="1"
      android:versionName="1.0">
      
  <!-- 使用android:minSdkVersion指明运行这个Android应用的最低SDK版本
  minSdkVersion="8"表示使用的Android 2.2的版本
  android:targetSdkVersion指明编译这个Android应用的SDK版本
  targetSdkVersion="21"表示使用的Android 5.0.1的版本
   -->
  <uses-sdk
        android:minSdkVersion="8"
        android:targetSdkVersion="21"/>
    
    <application 
        android:label="@string/app_name" 
        android:icon="@drawable/ic_launcher"
        android:allowBackup="true">
        <activity android:name="FrameLayoutTest"
                  android:label="@string/app_name">
            <intent-filter>
                <action android:name="android.intent.action.MAIN" />
                <category android:name="android.intent.category.LAUNCHER" />
            </intent-filter>
        </activity>
    </application>
    
</manifest>
举报|(3)|(3)2018-11-05
0.0
举报|(3)|(3)2018-11-19
......
举报|(3)|(3)2018-12-11
??
举报|(3)|(3)2019-06-02
2222
举报|(3)|(3)2019-07-04
hjfdf
举报|(2)|(2)2020-05-07
但是
举报|(2)|(2)2021-08-12
y

继续回答


相关提问