用户注册



邮箱:

密码:

用户登录


邮箱:

密码:
记住登录一个月忘记密码?

发表随想


还能输入:200字
云代码 - python代码库

获取猫眼网榜单TOP100前10页

2019-02-18 作者: 芙蓉妹妹举报

[python]代码库

#抓取Top100网  (成功)
from urllib.request import urlopen

'''
      https://maoyan.com/board/4?offset=10 
      https://maoyan.com/board/4?offset=20
      https://maoyan.com/board/4?offset=30
      ...
      https://maoyan.com/board/4?offset=90
      '''
def get_one_page(index):
    url = 'https://maoyan.com/board/4?offset=%d'%(index*10)
    #另一种方式:  url = 'https://maoyan.com/board/4?offset={}/'.format(index * 10)
    #字符串的格式化处理 {} 占位符  使用format方式格式化字符串
    response = urlopen(url)
    return response.read().decode()

def save_one_page(index,html):
    #将数据保存到文件中
    # 文件名  maoyan_TOP100_page_inedx.html
    # 文件存到什么地方
    filename = 'maoyan\\TOP100_page_{}.html'.format(index+1)
    '''
    打开文件   打开方式:r(以字符串的方式只读),w(以字符串的方式只写),a(以字符串的方式追加)
    rb(以二进制只读),wb(以二进制只写),ab(以二进制追加)
    '''
    #file = open(filename,'w',encoding = 'utf-8')
    #file.write(html)
    #file.close()
    with open(filename,'w',encoding='utf-8') as file:
        file.write(html)
    pass

if __name__ == '__main__':
    for index in range(0,10):
        html = get_one_page(index)
        save_one_page(index,html)

#__name__ 内置变量
#当执行当前文件时,__name__==_main_
#当当前文件时被其他文件引用时,__name__==模块名


网友评论    (发表评论)

共1 条评论 1/1页

发表评论:

评论须知:

  • 1、评论每次加2分,每天上限为30;
  • 2、请文明用语,共同创建干净的技术交流环境;
  • 3、若被发现提交非法信息,评论将会被删除,并且给予扣分处理,严重者给予封号处理;
  • 4、请勿发布广告信息或其他无关评论,否则将会删除评论并扣分,严重者给予封号处理。


扫码下载

加载中,请稍后...

输入口令后可复制整站源码

加载中,请稍后...