先把要抓取的网络地址列在单独的list文件中http://www.gxlcms.com/article/83440.html http://www.gxlcms.com/article/83437.html http://www.gxlcms.com/article/83430.html http://www.gxlcms.com/article/83449.html 然后我们来看程序操作，代码如下：#!/usr/bin/pythonimport os import sys import urllib2 import redef Cdown_data(fileurl, fpath, dpath):if not os.path.exists(dpath):os.makedirs(dpath)try:getfile = url...
最近需要爬取某网站，无奈页面都是JS渲染后生成的，普通的爬虫框架搞不定，于是想到用Phantomjs搭一个代理。 Python调用Phantomjs貌似没有现成的第三方库（如果有，请告知小编），漫步了一圈，发现只有pyspider提供了现成的方案。 简单试用了一下，感觉pyspider更像一个为新手打造的爬虫工具，好比一个老妈子，有时无微不至，有时喋喋不休。 轻巧的小工具应该更受人喜爱，我也怀着一点私心，可以带着我最爱的BeautifulSoup一块儿用...
Web抓取 Web站点使用HTML描述，这意味着每个web页面是一个结构化的文档。有时从中 获取数据同时保持它的结构是有用的。web站点不总是以容易处理的格式， 如 csv 或者 json 提供它们的数据。 这正是web抓取出场的时机。Web抓取是使用计算机程序将web页面数据进行收集 并整理成所需格式,同时保存其结构的实践。 lxml和Requests lxml（http://lxml.de/）是一个优美的扩展库，用来快速解析XML以及HTML文档 即使所处理的标签非常混乱。我...
python抓取新浪微博，被挡，用了代理，有10个帐号，10个代理，爬的很慢，大家有什么好的办法，谢谢！！！回复内容： http://github.com/zhu327/rss 既然你也用python就直接看代码吧爬这里 http://service.weibo.com/widget/widget_blog.php?uid={uid} 替换uid,无需登录,不会被挡爬手机端http://weibo.cn可以参考下面的代码，来自极客学院，侵删#-*-coding:utf8-*-import smtplib from email.mime.text import MIMEText import requ...
回复内容： 教你一个爬虫小技巧：所有社交网站爬虫，优先选择爬移动版，比如：http://m.weibo.com我开通了一个QQ群，在极客学院参加了我的定向爬虫课程的同学可以在里面沟通交流提问。群号为:398687538如果你是直接在淘宝上买的视频或者甚至是直接在网盘上免费下载的视频，请不要进来。====================================我在极客学院做了一个视频课程来讲解如何模拟登陆新浪微博。请戳:->http://www.jikexueyuan.com/course/99...
本文以实例形式讲述了Python实现抓取网页并解析的功能。主要解析问答与百度的首页。分享给大家供大家参考之用。 主要功能代码如下：#!/usr/bin/python #coding=utf-8import sys import re import urllib2 from urllib import urlencode from urllib import quote import time maxline = 2000wenda = re.compile("href=\"http://wenda.so.com/q/.+\?src=(.+?)\"") baidu = re.compile("更多知道相关问题.*?") f1 = open("baidupage...
京东图书评论有非常丰富的信息，这里面就包含了购买日期、书名、作者、好评、中评、差评等等。以购买日期为例，使用Python + Mysql的搭配进行实现，程序不大，才100行。相关的解释我都在程序里加注了： from selenium import webdriver from bs4 import BeautifulSoup import re import win32com.client import threading,time import MySQLdb def mydebug():driver.quit()exit(0) def catchDate(s):"""页面数据提取"""soup = Beau...
本方法是基于文本密度的方法，最初的想法来源于哈工大的《基于行块分布函数的通用网页正文抽取算法》，本文基于此进行一些小修改。 约定： 本文基于网页的不同行来进行统计，因此，假设网页内容是没有经过压缩的，就是网页有正常的换行的。有些新闻网页，可能新闻的文本内容比较短，但其中嵌入一个视频文件，因此，我会给予视频较高的权重；这同样适用于图片，这里有一个不足，应该是要根据图片显示的大小来决定权重的，但本...
使用re, urllib, threading 多线程抓取天涯帖子内容，设置url为需抓取的天涯帖子的第一页，设置file_name为下载后的文件名代码如下:#coding:utf-8 import urllibimport reimport threadingimport os, time class Down_Tianya(threading.Thread): """多线程下载""" def __init__(self, url, num, dt): threading.Thread.__init__(self) self.url = url self.num = num self.txt_dict = dtdef ru...
代码如下:import socketdef open_tcp_socket(remotehost,servicename): s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) portnumber=socket.getservbyname(servicename,tcp) s.connect((remotehost,portnumber)) return smysocket=open_tcp_socket(www.taobao.com,http)mysocket.send(hello)while(1): data=mysocket.recv(1024) if(data): print data.decode(gbk).encode(utf-8)#对于gbk编码网页必须...
其中用到urllib2模块和正则表达式模块。下面直接上代码： [/code]#!/usr/bin/env python#-*- coding: utf-8 -*-#通过urllib(2)模块下载网络内容import urllib,urllib2,gevent#引入正则表达式模块，时间模块import re,timefrom gevent import monkeymonkey.patch_all()def geturllist(url): url_list=[] print url s = urllib2.urlopen(url) text = s.read() #正则匹配，匹配其中的图片 html = re.search(...
代码如下:#-*- encoding: utf-8 -*-Created on 2014-4-24 @author: Leon Wong import urllib2import urllibimport reimport timeimport osimport uuid #获取二级页面urldef findUrl2(html): re1 = rhttp://tuchong.com/\d+/\d+/|http://\w+(? url2list = re.findall(re1,html) url2lstfltr = list(set(url2list)) url2lstfltr.sort(key=url2list.index) #print url2lstfltr return url2lstfltr #获取html文本def...
代码如下:import urllib.requestimport reimport time def movie(movieTag): tagUrl=urllib.request.urlopen(url) tagUrl_read = tagUrl.read().decode(utf-8) return tagUrl_read def subject(tagUrl_read): 这里还存在问题： ①这只针对单独的一页进行排序，而没有对全部页面的电影进行排序 ②下次更新添加电影链接，考虑添加电影海报 ③需要追加列表 ④导入到本地txt或excel中 ...
代码如下:from creepy import Crawlerfrom BeautifulSoup import BeautifulSoupimport urllib2import json class MyCrawler(Crawler): def process_document(self, doc): if doc.status == 200: print [%d] %s % (doc.status, doc.url) try: soup = BeautifulSoup(doc.text.decode(gb18030).encode(utf-8)) except Exception as e: print e ...
环境Python 2.7.6，BS4，在powershell或命令行均可运行。请确保安装了BS模块 代码如下:# -*- coding:utf8 -*-# 2013.12.36 19:41 wnlo-c209# 抓取dbmei.com的图片。 from bs4 import BeautifulSoupimport os, sys, urllib2 # 创建文件夹，昨天刚学会path = os.getcwd() # 获取此脚本所在目录new_path = os.path.join(path,u豆瓣妹子)if not os.path.isdir(new_path): os.mkdir(new_path) def page_loop(page=0): url = ht...