本章将结合先前所学的爬虫和正则表达式知识，做一个简单的爬虫案例，更多内容请参考:Python学习指南现在拥有了正则表达式这把神兵利器，我们就可以进行对爬取到的全部网页源代码进行筛选了。 下面我们一起尝试一下爬取内涵段子网站： http://www.neihan8.com/article/list_5_1.html 打开之后，不难看出里面一个一个非常有内涵的段子，当你进行翻页的时候，注意url地址的变化：第一页url: http: //www.neihan8.com/article/list_5_1...
import requests from requests.exceptions import RequestException import re import json # from multiprocessing import Pool# 测试了下 这里需要自己添加头部 否则得不到网页 headers = {User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 } # 得到html代码 def get_one_page(url):try:response = requests.get(url, headers = headers)if r...
requests+正则表达式抓取猫眼电影top100 一.首先我们先分析下网页结构 可以看到第一页的URL和第二页的URL的区别在于offset的值，第一页为0，第二页为10，以此类推。 二.<dd>标签的结构（含有电影相关信息） 三、源代码import requests import re import json from requests.exceptions import RequestException#获取页面源代码 def get_one_page(url,headers):try:response = requests.get(url,headers=headers)if resp...