Python爬虫-面向知乎的答案提取和图片下载
需求描述：爬取知乎的答案，爬取并下载一个问题下所有回答中的图片。
实现平台：开发工具PyCharm2017，语言版本Python3.6，Chrome谷歌浏览器。
基本原理：1.发送请求，获取网页HTML源码；解析HTML，获取数据；保存数据。2
模拟浏览器登录，获取并解析HTML，获取数据。利用Python中的库即可便捷实现。
功能实现1：知乎答案爬取
实现思路：
1. 首先实现安装好第三方模块requests和bs4并调用。
2. 其次设置Http请求头，利用requests访问网页获取到源代码，利用bs模块中的BeautifulSoup得到解析过后的html。
3. 随后，分别通过对照网页源代码中标签内容进行匹配，分别获取问题标题、问题内容、点赞数以及答案等内容。
4. 最后进行包括知乎答案等信息的打印。
分别对应上述思路进行代码编写。
1. 调用第三方模块。
#-*- coding: UTF-8 -*-
# 爬取知乎答案
import requests
from bs4 import BeautifulSoup
2. 设置Http请求头：可以在Chrome谷歌浏览器的网页中的任意地方按下F12，打开chrome自带的调试工具，在调试工具中选择network标签，F5刷新网页后在左边找到该网页url，点击该url，选择Headers，就可以看到当前网页的Http头。copy到header={}中。
获取源代码并解析：利用requests和BeautifulSoup实现，并返回解析后的body。
#获取网页body里的内容
def get_content(url , data = None):
# 设置Http请求头，根据自己电脑查一下
header={
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate, sdch',
'Accept-Language': 'zh-CN,zh;q=0.8',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'
}
req = requests.get(url, headers=header)
req.encoding = 'utf-8'
bs = BeautifulSoup(req.text, "html.parser") # 创建BeautifulSoup对象
body = bs.body #
return body
3. 标签内容进行class匹配：问题标题——QuestionHeader-title，问题内容——RichText ztext，点赞量——Button VoteButton VoteButton—up，问题回答——ContentItem-time。
#获取问题标题
def get_title(html_text):
data = html_text.find('h1', {'class':' QuestionHeader-title '}) #匹配标签
return data.string.encode('utf-8')
#获取问题内容
def get_question_content(html_text):
data = html_text.find('span', {'class': 'RichText ztext'})
print (data.string)
if data.string is None:
out = ''
for datastring in data.strings:
datastring = datastring.encode('utf-8')
out = out + datastring.encode('utf-8')
print ('内容：\n' + out)
else:
print ('内容：\n' + data.string.encode('utf-8'))
#获取点赞数
def get_answer_agree(body):
agree = body.find('button',{'class': 'Button VoteButton VoteButton--up'})
agree_html = BeautifulSoup(str(agree), "html.parser")
all_buttons = agree_html.find_all("button", {"class": "Button VoteButton VoteButton--up"})
one_button = all_buttons[0]
agree_number = one_button["aria-label"]
print(agree_number)
#获取答案
def get_response(html_text):
out1 = ''
response = html_text.find_all('div', {'class': 'ContentItem-time'})
for index in range(len(response)):
#获取标签
answerhref = response[index].find('a', {'target': '_blank'})
if not(answerhref['href'].startswith('javascript')):
url = 'http:' + answerhref['href']
body = get_content(url)
get_answer_agree(body)
answer = body.find('span', {'class': 'RichText ztext CopyrightRichText-richText css-hnrfcf'})
if answer.string is None:
out = ''
for datastring in answer.strings:
datastring = datastring.encode('utf-8')
out = out + '\n' + str(datastring,encoding = 'utf-8')
else:
print (answer.string.encode('utf-8'))
out1 = out1 + '\n' + out
return url + '\n' + out1
4. 结果输出打印：以一个网址为例，调用之前编写的函数，进行信息的获取和打印。
# 输入要爬取的网址
URL_target = 'https://www.zhihu.com/question/505503990/answer/2276487889'
html_text = get_content(URL_target)
title = get_title(html_text)
print ("标题：" + str(title,encoding = 'utf-8') + '\n')
data = get_response(html_text)
print (data)
功能实现2：知乎图片下载
实现思路：
1. 首先实现安装好chromedriver模拟人为登录浏览器，模拟登录网页，中途拿手机扫码登录。
2. 安装好模块selenium、time、urllib.request 、bs4 和html.parser并调用。
3. 利用chromedriver打开浏览器并登录知乎，利用bs模块中的BeautifulSoup得到解析过后的html。
4. 随后，找到照片并进行下载。
5. 保存所有图片。
思路是先模拟登录网页，(中途拿手机扫码登录)，然后逐步爬取所有回答。
1.下载对应Chrome版本的chromedriver。
通过chrome://version/查看版本，下载chromedriver后解压安装。详细可以参考这个说明。
selenium 安装与 chromedriver 安装 ：https://www.cnblogs.com/lfri/p/10542797.html
我的Chrome版本是：94.0.4606.71(正式版本)（64 位），对应文件夹应该放在
C:\Program Files\Google\Chrome\Application
2.分别对应上述思路进行代码编写，安装好模块并调用。
# 爬取知乎问题下的所有图片
from selenium import webdriver
import time
import urllib.request
from bs4 import BeautifulSoup
import html.parser
3.自动化打开浏览器并扫码登录知乎，并解析网页 HTML 信息，查找所有的noscript标签。
def main():
# 确保文件夹中有chromedriver.exe，有的在C:\Program Files x86
chromedriver = 'C:\Program Files\Google\Chrome\Application\chromedriver.exe'
driver = webdriver.Chrome(chromedriver)
time.sleep(5)
driver.get("https://www.zhihu.com/question/287084175") # 打开想要爬取的知乎页面
time.sleep(5)
# 模拟用户操作
def execute_times(times):
for i in range(times):
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(3)
try:
driver.find_element_by_css_selector('button.QuestionMainAction').click()
print("page" + str(i))
time.sleep(1)
except:
break
# 执行次数
execute_times(5)
# 原网页的信息
result_raw = driver.page_source # 这是原网页 HTML 信息
result_soup = BeautifulSoup(result_raw, 'html.parser')# 然后将其解析
result_bf = result_soup.prettify() # 结构化原 HTML 文件
with open("D:/python安装包/PycharmProjects/zhihutupian/raw_result.txt", 'w',encoding="utf-8") as raw_result: # 存储路径里的文件夹需要事先创建。
raw_result.write(result_bf)
raw_result.close()
print("爬取回答页面成功!!!")
with open("D:/python安装包/PycharmProjects/zhihutupian/noscript_meta.txt", 'wb') as noscript_meta:
noscript_nodes = result_soup.find_all('noscript') # 找到所有<noscript>node
noscript_inner_all = ""
for noscript in noscript_nodes:
noscript_inner = noscript.get_text() # 获取<noscript>node内部内容
noscript_inner_all += noscript_inner + "\n"
noscript_all = html.parser.unescape(noscript_inner_all).encode('utf-8') # 将内部内容转码并存储
noscript_meta.write(noscript_all)
noscript_meta.close()
print("爬取noscript标签成功!!!")
4.查找所有图片并命名下载。
img_soup = BeautifulSoup(noscript_all, 'html.parser')
img_nodes = img_soup.find_all('img')
with open("D:/python安装包/PycharmProjects/zhihutupian/img_meta.txt", 'w') as img_meta:
count = 0
for img in img_nodes:
if img.get('src') is not None:
img_url = img.get('src')
line = str(count) + "\t" + img_url + "\n"
img_meta.write(line)
urllib.request.urlretrieve(img_url, "D:/python安装包/PycharmProjects/zhihutupian/" + str(count) + ".jpg") # 一个一个下载图片
count += 1
img_meta.close()
print("图片下载成功")
if __name__ == '__main__':
main()
5.最后进行包括知乎图片的保存。
最后,有相关爬虫需求欢迎通过公zhong号联系我们.
公zhong号: 320科技工作室
