# -*- coding: utf-8 -*- import urllib.request import http.cookiejar from bs4 import BeautifulSoup import requests import csv import time import re import urllib from urllib.parse import quote import stringdef get_url_2():with open('F:/python/二级目录网址.csv')as f:f_csv = csv.reader(f)link_list =[]for link1 in f_csv:link_list.append(link1)return link_listdef get_url_weizhuang(head={'Connection': '...
【python3】建立爬虫代理ip池起因代码块 起因 一般来说,我们在爬取其他网站的数据的时候,会遇到ip被限制的情况,这时候就需要代理ip池进行处理了。 代码块 我们这里使用了西刺代理池进行模拟,直接上代码: #!/usr/bin/env python3 # -*- coding: utf-8 -*- import requests, threading, datetime from bs4 import BeautifulSoup import urllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)# ip清洗 de...
Redis下载网站https://github.com/tporadowski/redis/releases 下载尾缀.msi文件安装,安装好之后再在同一个网站搜素redis desktop点击进入文件uglide/RedisDesktopManager,点击Releases?进入下载redis-desktop-manager-0.8.8.384.exe安装 链接数据库 Linux系统安装 输入命令Sudo apt-get install redis-server即可安装,输入redis-cli进入交互模式,输入set ‘a’ ‘b’回车,接着get ‘a’回车;之后输入命令sudo vi /etc/re...
Windows下安装过程:下载网址https://dev.mysql.com/get/archives/mysql-installer/mysql-installer-community-5.7.19.0.msi 再下载mysql-front安装https://mysql-front.software.informer.com/download/ 输入localhost密码123456 Linux下安装mysql 命令输入Sudo su接着sudo apt-get install mysql-server mysql-client 安装设置密码后,再输入命令mysql -uroot -p链接mysql输入show databases;再输入use mysql;再输入sel...
当你的才华还撑不起你的野心时,你应该静下心去学习 。前言 工欲善其事,必先利其器。redis数据库对于网络爬虫的作用不容小觑,安装必然是第一步,话不多说,进入正题。 一、安装 可以在这个地址下载好需要的安装包文件,对于windows 64位系统,选择如下安装包下载到你的工作目录下,比如C:/盘: 解压后,将文件夹重新命名为 redis,那你的redis文件夹所在目录就为C:/redis。 二、启动redis服务器 windows系统下,打开cmd提示符窗口...
ScrapySplash的安装 ScrapySplash 是一个 Scrapy 中支持 JavaScript 渲染的工具,本节来介绍一下它的安装方式。 ScrapySplash 的安装分为两部分,一个是是 Splash 服务的安装,安装方式是通过 Docker,安装之后会启动一个 Splash 服务,我们可以通过它的接口来实现 JavaScript 页面的加载。另外一个是 ScrapySplash 的 Python 库的安装,安装之后即可在 Scrapy 中使用 Splash 服务。 1. 相关链接GitHub:https://github.com/scrapy...
练手之作 代码中还有很多问题 持续完善中 渣渣阿里T5 99包邮服务器只开了6个进程#encoding:utf-8 import requests # 请求 from lxml import html # 解析HTML from multiprocessing import Pool,Semaphore # 进程 import random import time import os import string from fake_useragent import UserAgent import multiprocessing import base64 import MySQLdbbasepath = os.path.abspath(text) imgpath = os.path.abspath(ti...
安装anaconda? ? ? ? 安装 pycharm? 版本冲突 多版本兼容?? ? ??? ? BeautifulSoup这个库的安装? ? 忽略大小写? ? mongodb安装 ? 新建? 文件夹 /data/db ? 开启服务端? mongod --dbpath??D:\install\mongodb\data\db 查看是否开启 localhost:27017启动客户端? cmd mongo? ? 配置系统服务中启动? 可视化 robomongo ? 安装各种库 pip3 install? requests conda? install requests? requests selenium? ?----js渲染 ? chromedriver?...
一、MongoDB 下载 官网下载地址MongoDB for Windows 64-bit 适合 64 位的 Windows Server 2008 R2, Windows 7 , 及最新版本的 Window 系统。自定义安装创建数据目录MongoDB将数据目录存储在 db 目录下。但是这个数据目录不会主动创建,我们在安装完成后需要创建它。请注意,数据目录应该放在根目录下((如: C: 或者 D: 等 )。 在本教程中,我们已经在 C 盘安装了 mongodb,现在让我们创建一个 data 的目录然后在 data 目录里创建 ...