会python真的可以为所欲为0(回)
359天前
这里还有人吗1(回)
544天前这里还有人吗0(回)
544天前
每天面对着电脑屏幕，敲打键盘。我所面对的并不只是代码，而是一种生活方式。0(回)
769天前到处都是羊，不想上班0(回)
849天前
鸽子
0(回)
853天前from urllib.request import urlopen |
def get_one_page(index): |
url = 'https://maoyan.com/board/4?offset=%d' % (index * 10) |
# 另一种方式： url = 'https://maoyan.com/board/4?offset={}/'.format(index * 10) |
# 字符串的格式化处理 {} 占位符 使用format方式格式化字符串 |
response = urlopen(url) |
return response.read().decode() |
html = get_one_page(0) |
''' |
解析HTML中的内容 |
1) 使用BeautifulSoup库 |
a. 安装BeautifulSoup4库 |
在命令行中进入Python环境 |
执行 pip install beautifulsoup4 |
进入Python的交互模式 执行python命令 |
import bs4 如果没有任何错误, 表明安装成功 |
|
卸载 pip uninstall beautifulsoup4 |
过程中需要输入 y |
b. 引入bs4 |
2) 使用XPath |
3) 使用pyquery |
|
''' |
from bs4 import BeautifulSoup |
''' |
Beautifulsoup在解析HTML时，可以设置解析值 |
1）HTML parser |
2) lxml |
3) 解析HTML5 |
''' |
soup = BeautifulSoup(html,'html.parser')#指定一种方法解析 |
#打印soup对象的内容 |
print(soup.prettify()) |
#方法一（使用.的方式）：获取title标签，使用标签名获取DOM树标签节点；缺点：只能获得页面中的第一个标签 |
title = soup.title |
print(title.get_text()) |
print(soup.p) |
# 方法二（使用函数方式）：1、find_all() 返回所以符号条件的标签 |
ls_p = soup.find_all('p') |
print(ls_p) |
#遍历打印所以标签 |
for p in ls_p: |
print(p) |
|
#2、find() 只返回第一个符合条件的标签（相当于soup.p方法） |
p = soup.find('p') |
print(p) |
#获取标签内的文本内容, |
body = soup.body |
print(body.string)#当一个Tag对象有多个子节点时，可以用.string方法再通过遍历获得所有子节点的内容。 |
print(body.get_text())#如果你仅仅想要得到文档或者标签的文本部分，它能以一个单一的一个Unicode串的形式返回文档中或者Tag对象下的所有文本。 |
#CSS选择器 |
''' |
1)标签 |
2）ID |
3）class |
''' |
p = soup.select('.board-content')#选用class选择 |
print(p) |
''' |
1.标签选择 |
2.方法选择 |
3.CSS选择''' |
print(soup.find_all('ul',attrs={'class' : 'navbar'})) |
''' |
节点遍历 ： |
1.直接使用属性 |
contens（获取当前节点的所有直接子节点,但是字符串也会被解析成一个孤立的节点） |
children 当前节点的所有子孙节点. |
2. 方法 |
find find_all |
''' |
subnav = soup.select('.subnav') |
print(subnav[0].contents) |
for child in subnav[0].children: |
print(child) |
ls_a = subnav[0].find_all('a') |
for a in ls_a: |
print(a) |
print(a.get_text()) |
#访问节点属性(以字典保存，则取属性) |
print(a.attrs.get('href'))#用中括号，越界会报错；用get越界返回空 |
''' |
我们在写 CSS 时，标签名不加任何修饰，类名（class="className"引号内即为类名）前加点，id名（id="idName"引号前即为id名）前加 #， |
# 在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list |
例： |
print soup.select('title') #标签 |
print soup.select('.sister') #类名 |
print soup.select('#link1') #ID |
''' |
