用户注册



邮箱:

密码:

用户登录


邮箱:

密码:
记住登录一个月忘记密码?

发表随想


还能输入:200字
云代码 - python代码库

抓取百度贴吧网页前五张

2019-02-18 作者:不吃鱼举报

[python]代码库

from urllib.request import urlopen

# url = 'http://tieba.baidu.com/f?kw=%E4%BE%AF%E6%98%8E%E6%98%8A&ie=utf-8&pn=100'
# response = urlopen(url)
# print(response.read().decode())

def get_one_page(index):
    url = 'http://tieba.baidu.com/f?kw=%E4%BE%AF%E6%98%8E%E6%98%8A&ie=utf-8&pn={}'.format(index*50)
    response = urlopen(url)
    return response.read().decode()

def save_one_page(index, html):
    file_name = 'tieba\\houminghao_page_{}.html'.format(index+1)
    with open(file_name, 'w', encoding='utf-8') as file:
        file.write(html)
    pass

if __name__ == '__main__':
    for index in range(0, 5):
        html = get_one_page(index)
        save_one_page(index, html)


分享到:
更多

网友评论    (发表评论)


发表评论:

评论须知:

  • 1、评论每次加2分,每天上限为30;
  • 2、请文明用语,共同创建干净的技术交流环境;
  • 3、若被发现提交非法信息,评论将会被删除,并且给予扣分处理,严重者给予封号处理;
  • 4、请勿发布广告信息或其他无关评论,否则将会删除评论并扣分,严重者给予封号处理。