用户注册



邮箱:

密码:

用户登录


邮箱:

密码:
记住登录一个月 忘记密码?

发表随想


还能输入:200字

用户注册



邮箱:

密码:

用户登录


邮箱:

密码:
记住登录一个月 忘记密码?

发表随想


还能输入:200字

请选择技术分类

 *如果你找不到更细的分类,可以选择上级分类
当前位置:云代码 - 技术问答 - HTML

用框架调用页面,实现蜘蛛只能扒下内容,页面怎么布局扒不下来,不要robots文件

 悬赏:10 | 提问者:嘿嘿嘿丨 | 浏览:675
举报 | 2018-03-13
用框架调用页面,实现蜘蛛只能扒下内容,页面怎么布局扒不下来,不要robots文件
分享到:
更多
最佳回答
??

回答者:浅笑a

等级:中级程序员

积分:222

(0) | (0) 回答时间:2018-03-13

所有回答
#1 浅笑a
举报 | (0) | (0) 2018-03-13
??
  • 追问: 就是怎么能让爬虫扒不全网站
  • 回答: 叫姐姐 就告诉你
举报 | (0) | (0) 2018-04-09
网站的一个bbs调用模块,想禁止两个蜘蛛访问它,robots协议写法如下:

User-agent:SEOkicks-Robot
Disallow: /
User-agent: archive.org_bot
Disallow: /

放到bbs下面的robots文件里了。

但是还可以看到他们经常来,有什么办法禁止吗?

如果这样写,该放到网站的robots文件里还是bbs下面的robots文件里?

user-agent:*
Disallow:/bbs/
举报 | (0) | (0) 2018-08-24
<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
      package="me.gacl.ui"
      android:versionCode="1"
      android:versionName="1.0">
      
  <!-- 使用android:minSdkVersion指明运行这个Android应用的最低SDK版本
  minSdkVersion="8"表示使用的Android 2.2的版本
  android:targetSdkVersion指明编译这个Android应用的SDK版本
  targetSdkVersion="21"表示使用的Android 5.0.1的版本
   -->
  <uses-sdk
        android:minSdkVersion="8"
        android:targetSdkVersion="21"/>
    
    <application 
        android:label="@string/app_name" 
        android:icon="@drawable/ic_launcher"
        android:allowBackup="true">
        <activity android:name="FrameLayoutTest"
                  android:label="@string/app_name">
            <intent-filter>
                <action android:name="android.intent.action.MAIN" />
                <category android:name="android.intent.category.LAUNCHER" />
            </intent-filter>
        </activity>
    </application>
    
</manifest>

继续回答


相关提问