#伪装自身信息,让服务器认为访问它的是一个谷歌浏览器,若不伪装服务器通过"User-Agent": "Python-urllib/3.6"就知道访问它的是一个爬虫程序,从而返回错误信息 |
from urllib.request import urlopen,Request |
url = 'http://httpbin.org/get' #这个网站可以显示自身服务器的User-Agent信息 |
headers = { |
'User-Agent' : 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0' |
} |
#创建请求对象 |
request = Request(url,headers = headers) #发送url和伪装的头信息 |
response = urlopen(request) |
print (response.read().decode()) |