前言 今天是2019年03月19日，最近读了不少书，《Java并发编程的艺术》就是其中一本，这本书比较适合入门，讲的非常简单。这本书一共有11章，我已经看完第一遍了，有的章节看了两三遍，所以通过博客的形式梳理一番阅读过的内容。我不会把整本书的内容都放进来，我想写下来的是我理解了的部分，能够整理成块的内容。 并发编程就是用多线程的技术去达到更好的效率，但多线程必可避免会带来一些挑战，本文介绍了其中的两个挑战： 上下文...
1、实现功能 首先我们需要实现在pycharm中输入每个单词可以直接获取内容 2、实现步骤 首先登陆有道翻译，获取该页的 Requests url（请求的网址（统一资源定位符）） REquest headers（头部请求内容） Form data（表单数据）然后开始编写爬虫程序import requests keyword = input('请输入要翻译的单词：') url ='http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'headers ={ 'Accept': 'application/jso...
1.获取当前页的课程名称，地址：https://www.ichunqiu.com/courses/webaq 2.选区其中一门课程名称查看源代码：代码如下：<p class="coursename" title="Kaltura 远程代码执行漏洞（CVE-2017-14143）" onclick="javascript:window.open 3.正则表达式获取课程名称：#coding=utf-8 import re html = <!DOCTYPE html> <html> #此处为需要爬去页面的源代码 </html> title = re.findall(r<p class="coursename" title="(.*?)" oncli...
` 爬取结果截取部分 <a href="http://news.163.com/special/2019qglh/" class="zt_link" target="_blank" title="2019全国两会">2019全国两会_网易新闻_网易网</a> <a class="ntes-nav-index-title ntes-nav-entry-wide c-fl" href="http://www.163.com/" title="网易首页">网易首页</a> <a href="http://www.163.com/#f=topnav" class="ntes-nav-select-title ntes-nav-entry-bgblack JS_NTES_LOG_FE" data-module-name="n_topnav...
# -*- coding: utf-8 -*- #模拟有道翻译 import urllib import urllib2#通过抓包得到的url地址 url="http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule " #完整的headers headers={#"Host":"fanyi.youdao.com","User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:65.0) Gecko/20100101 Firefox/65.0","Accept":"application/json, text/javascript, */*; q=0.01","Accept-Language":"zh-CN,zh;q=0.8,zh-T...
一、写在前面 之前写过一篇用Python发送天气预报邮件的博客，但是因为要手动输入城市名称，还要打开邮箱才能知道天气情况，这也太麻烦了。于是乎，有了这一篇博客，这次我要做的就是用Python获取本机IP地址，并根据这个IP地址获取物理位置也就是我所在的城市名称，然后用之前的办法实现查询天气，再利用百度语音得到天气预报的MP3文件，最后播放，这样是不是就很方（tou）便（lan）了呢？ 二、具体步骤 这次有四个py文件：get_ip...
前几天给大家分享了网络爬虫中深度优先算法的介绍及其代码实现过程，没来得及上车的小伙伴们可以戳这篇文章——浅谈网络爬虫中深度优先算法和简单代码实现。今天小编给大家分享网络爬虫中广度优先算法的介绍及其代码实现过程。 广度优先算法和深度优先算法恰好相反，这里继续以上图的二叉树为例。广度优先算法的主要思想是首先从顶级域名A开始，之后从中提取出两个链接B和C，待链接B抓取完成之后，下一个要抓取的链接则是链接B的...
前几天给大家分享了网络爬虫中深度优先算法的介绍及其代码实现过程，没来得及上车的小伙伴们可以戳这篇文章——浅谈网络爬虫中深度优先算法和简单代码实现。今天小编给大家分享网络爬虫中广度优先算法的介绍及其代码实现过程。广度优先算法和深度优先算法恰好相反，这里继续以上图的二叉树为例。广度优先算法的主要思想是首先从顶级域名A开始，之后从中提取出两个链接B和C，待链接B抓取完成之后，下一个要抓取的链接则是链接B的同级...
学过网站设计的小伙伴们都知道网站通常都是分层进行设计的，最上层的是顶级域名，之后是子域名，子域名下又有子域名等等，同时，每个子域名可能还会拥有多个同级域名，而且URL之间可能还有相互链接，千姿百态，由此构成一个复杂的网络。当一个网站的URL非常多的时候，我们务必要设计好URL，否则在后期的理解、维护或者开发过程中就会非常的混乱。理解以上的网页结构设计之后，现在正式的引入网络爬虫中的深度优先算法。上图是一个二...
开始学习Python从实战开始，从实战中更快入门Python。 下载地址：网盘下载
一、环境搭建 工欲善其事，必先利其器。在这里，我们采用selenium+webDriver+headless Chrome(当然，这里使用FireFox、Safari浏览器都可以)来实现爬虫。 (一)工具 1.selenium,一个用于Web应用程序测试的工具。其特点是直接运行在浏览器中，就像真正的用户在操作一样。新版本selenium2集成了 Selenium 1.0 以及 WebDriver。 2.webDriver作用如下：执行代码通过给Webdriver发送指令，让Webdriver知道想要做的操作，Webdriver再根据这...
前言： 源于需要四天实现的Java课设，之前完全没有学过Java，实现起来非常多的问题（痛苦面具）。Java爬虫到服务器的Mysql数据库组员实现，从一个方法类将Mysql数据库的数据返回了一个JSON数据，html网页也有组员修改过后的模板，所以按html模板所需要的JSON文件来修改，但是由于爬取的数据只有四项（省名，死亡病例，疑似病例，确诊病例），而模板用的JSON文件数据复杂，所以只修改这三个数据的绑定与展示，提取方法类返回的JSON文...
前言使用之前单应用的队列仓库存储抓取的url存在以下两个弊端: 单应用时候,加入服务宕机了,则单应用中的队列仓库里面的url就会为空,则此时就会从页面的首页重新抓取 在加快爬虫抓取速度时候，我们有时候需要部署多节点,实现多节点抓取,加快抓取速度,但是多节点抓取同一个页面时候,怎样保证哪些url已经抓取了,而不需要再次抓取了,此时如果是单应用队列仓库将会不能区分 使用redis创建的url仓库(公共的仓库) 恰好解决了这个问题 ...
Python爬虫可以说是好玩又好用了。现想利用Python爬取网页股票数据保存到本地csv数据文件中，同时想把股票数据保存到MySQL数据库中。需求有了，剩下的就是实现了。 在开始之前，保证已经安装好了MySQL并需要启动本地MySQL数据库服务。提到安装MySQL数据库，前两天在一台电脑上安装MySQL5.7时，死活装不上，总是提示缺少Visual Studio 2013 Redistributable，但是很疑惑，明明已经安装了呀，原来问题出在版本上，更换一个版本后就可...
开发环境：ubuntu 相关工具：python、mitmproxy、appium、adb、安卓手机一台 项目逻辑：利用自动化测试工具appium控制手机刷抖音，同时开启mitmdump拦截手机端的所有请求信息，开启mitmproxy事件监听，当监听到需要的请求时，解析response。 下面就讲讲具体如何实现： 1、安装相关工具，网上很多教程，可以自行百度。2、手机开启代理并安装ca证书 先确保手机跟pc在同一网络，然后打开手机wifi，修改网络设置好代理之后安装ca证书，...