用户注册



邮箱:

密码:

用户登录


邮箱:

密码:
记住登录一个月忘记密码?

发表随想


还能输入:200字
云代码 - python代码库

python网络数据采集5 重复的wiki链接不再抓取

2016-07-06 作者: ME80举报

[python]代码库

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

pages = set()
def getLinks(pageUrl):
    html = urlopen("http://en.wikipedia.org"+pageUrl)
    bsObj = BeautifulSoup(html,'html.parser')
    href = bsObj.findAll('a',href = re.compile("^(/wiki/)")) # 找到所有wiki开头的链接
    for link in href:
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                newPage = link.attrs['href'] # 遇到新页面
                print(newPage)
                pages.add(newPage) # 将遇到的新页面放进pages集合
                getLinks(newPage)

getLinks("")

[代码运行效果截图]


python网络数据采集5 重复的wiki链接不再抓取


网友评论    (发表评论)


发表评论:

评论须知:

  • 1、评论每次加2分,每天上限为30;
  • 2、请文明用语,共同创建干净的技术交流环境;
  • 3、若被发现提交非法信息,评论将会被删除,并且给予扣分处理,严重者给予封号处理;
  • 4、请勿发布广告信息或其他无关评论,否则将会删除评论并扣分,严重者给予封号处理。


扫码下载

加载中,请稍后...

输入口令后可复制整站源码

加载中,请稍后...