python实现爬虫

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python实现爬虫，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1335字，纯文字阅读大概需要2分钟。

内容图文

• 解决print（）中文的乱码问题！！！

# -*-coding:utf-8 -*-
import io
import sys
#改变标准输出的默认编码(改变中文输出的乱码问题)
sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')

• 　　selenium+chrome 浏览器进行爬虫
• 下载chrome的浏览器驱动（http://chromedriver.storage.googleapis.com/index.html）下载响应chrome浏览器版本（浏览器的版本 在chrome://version/这个网页可以看到）的即可（win32 就行）安装到C:\Program Files (x86)\Google\Chrome\Application  下面（exe文件）

• #导入selenium的浏览器驱动接口
  from selenium import webdriver
  from time import sleep
  #驱动路径 记得前面加r 防止字符转义
  #!!!注意这里必须把驱动程序中的路径写完整，后面必须加上这个chromedriver.exe  否则会报错 执行不成功
  driver = webdriver.Chrome("C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe")
  #用driver打开百度页面  后面的地址是百度的地址
  driver.get('http://www.baidu.com')
  # 查找页面的“设置”选项，发送一个你要搜索的值，并进行点击
  # 获取页面名为wrapper的id标签的文本内容
  data = driver.find_element_by_id("wrapper").text
  print(data.encode('GB18030'))
  # 打印页面标题 "百度一下，你就知道"
  print(driver.title)
  # 生成当前页面快照并保存
  driver.save_screenshot("baidu.png")
  driver.find_element_by_id('kw').send_keys('人民币')
  sleep(2)
  #并进行点击
  driver.find_element_by_id('su').click()
  sleep(4)
  #退出驱动程序
  driver.quit()

  （参考：https://blog.csdn.net/u010986776/article/details/79266448）

•  

   

内容总结

以上是互联网集市为您收集整理的python实现爬虫全部内容，希望文章能够帮你解决python实现爬虫所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---