# -*- coding: utf-8 -*- import urllib.request import http.cookiejar from bs4 import BeautifulSoup import requests import csv import time import re import urllib from urllib.parse import quote import stringdef get_url_2():with open('F:/python/二级目录网址.csv')as f:f_csv = csv.reader(f)link_list =[]for link1 in f_csv:link_list.append(link1)return link_listdef get_url_weizhuang(head={'Connection': '...
【python3】建立爬虫代理ip池起因代码块 起因 一般来说，我们在爬取其他网站的数据的时候，会遇到ip被限制的情况，这时候就需要代理ip池进行处理了。 代码块 我们这里使用了西刺代理池进行模拟，直接上代码: #!/usr/bin/env python3 # -*- coding: utf-8 -*- import requests, threading, datetime from bs4 import BeautifulSoup import urllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)# ip清洗 de...
Redis下载网站https://github.com/tporadowski/redis/releases 下载尾缀.msi文件安装，安装好之后再在同一个网站搜素redis desktop点击进入文件uglide/RedisDesktopManager，点击Releases?进入下载redis-desktop-manager-0.8.8.384.exe安装 链接数据库 Linux系统安装 输入命令Sudo apt-get install redis-server即可安装，输入redis-cli进入交互模式，输入set ‘a’ ‘b’回车，接着get ‘a’回车；之后输入命令sudo vi /etc/re...
Windows下安装过程：下载网址https://dev.mysql.com/get/archives/mysql-installer/mysql-installer-community-5.7.19.0.msi 再下载mysql-front安装https://mysql-front.software.informer.com/download/ 输入localhost密码123456 Linux下安装mysql 命令输入Sudo su接着sudo apt-get install mysql-server mysql-client 安装设置密码后，再输入命令mysql -uroot -p链接mysql输入show databases；再输入use mysql；再输入sel...
当你的才华还撑不起你的野心时，你应该静下心去学习 。前言 工欲善其事，必先利其器。redis数据库对于网络爬虫的作用不容小觑，安装必然是第一步，话不多说，进入正题。 一、安装 可以在这个地址下载好需要的安装包文件，对于windows 64位系统，选择如下安装包下载到你的工作目录下，比如C:/盘： 解压后，将文件夹重新命名为 redis，那你的redis文件夹所在目录就为C:/redis。 二、启动redis服务器 windows系统下，打开cmd提示符窗口...
ScrapySplash的安装 ScrapySplash 是一个 Scrapy 中支持 JavaScript 渲染的工具，本节来介绍一下它的安装方式。 ScrapySplash 的安装分为两部分，一个是是 Splash 服务的安装，安装方式是通过 Docker，安装之后会启动一个 Splash 服务，我们可以通过它的接口来实现 JavaScript 页面的加载。另外一个是 ScrapySplash 的 Python 库的安装，安装之后即可在 Scrapy 中使用 Splash 服务。 1. 相关链接GitHub：https://github.com/scrapy...
练手之作 代码中还有很多问题 持续完善中 渣渣阿里T5 99包邮服务器只开了6个进程#encoding:utf-8 import requests # 请求 from lxml import html # 解析HTML from multiprocessing import Pool,Semaphore # 进程 import random import time import os import string from fake_useragent import UserAgent import multiprocessing import base64 import MySQLdbbasepath = os.path.abspath(text) imgpath = os.path.abspath(ti...
安装anaconda? ? ? ? 安装 pycharm? 版本冲突 多版本兼容?? ? ??? ? BeautifulSoup这个库的安装? ? 忽略大小写? ? mongodb安装 ? 新建? 文件夹 /data/db ? 开启服务端? mongod --dbpath??D:\install\mongodb\data\db 查看是否开启 localhost:27017启动客户端? cmd mongo? ? 配置系统服务中启动? 可视化 robomongo ? 安装各种库 pip3 install? requests conda? install requests? requests selenium? ?----js渲染 ? chromedriver?...
一、MongoDB 下载 官网下载地址MongoDB for Windows 64-bit 适合 64 位的 Windows Server 2008 R2, Windows 7 , 及最新版本的 Window 系统。自定义安装创建数据目录MongoDB将数据目录存储在 db 目录下。但是这个数据目录不会主动创建，我们在安装完成后需要创建它。请注意，数据目录应该放在根目录下（(如： C: 或者 D: 等 )。 在本教程中，我们已经在 C 盘安装了 mongodb，现在让我们创建一个 data 的目录然后在 data 目录里创建 ...