python简单页面爬虫入门 BeautifulSoup实现

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python简单页面爬虫入门 BeautifulSoup实现，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1188字，纯文字阅读大概需要2分钟。

内容图文

本文可快速搭建爬虫环境，并实现简单页面解析

 

1、安装 python

 下载地址：https://www.python.org/downloads/

选择对应版本，常用版本有2.7、3.4

安装后，将安装目录加入到环境变量path中，可在dos窗口查看版本，以检查是否安装正常

python -V

 

2、安装 pip

pip是python包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能

目前如果你在 python.org 下载最新版本的安装包，则是已经自带了该工具。

Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。

 下载地址：https://pypi.org/project/pip/#files ，

你可以通过以下命令来判断是否已安装：

pip --version

 

选择对应版本，下载后解压，在文件目录执行安装命令：

python setup.py install

3、安装 BeautifulSoup

 执行命令：

pip install beautifulsoup4

4、代码

 

#-*- coding:utf-8 -*-
import urllib2
import urllib
from bs4 import BeautifulSoup

#设置字符编码格式
import sys
reload(sys)
sys.setdefaultencoding('utf8')

#打开保存结果的txt
txtfile = open('data.txt','w') 

#请求网页
url = "www.baidu.com"
html=urllib2.urlopen(url).read()

#解析网页和数据
soup = BeautifulSoup(html, "html.parser")
html_name = soup.findAll(attrs={"class":"f_l zi"})
html_five = soup.findAll(attrs={"class":"co_666"})
surname = html_name[0].text

#保存结果
txtfile.write(surname )

 

一个简单的爬虫就完成了,欢迎留言交流

 

内容总结

以上是互联网集市为您收集整理的python简单页面爬虫入门 BeautifulSoup实现全部内容，希望文章能够帮你解决python简单页面爬虫入门 BeautifulSoup实现所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---