今天的学习内容是利用python对图片进行爬取。 首先找到一个中意的图片网站，打开开发者工具，仔细寻找有关爬取内容的代码 可以很明显的找到.JPG格式的文件，然后直接爬取本网页的源代码，用正则表达式筛选出相应的.JPG文件，读取并保存就可以啦！from urllib import request import os import time import re from fake_useragent import UserAgent import randomdef url_open(url):# 使用代理IP的操作proxies = [‘39.106...
1、YARN：将资源管理和作业调度/监控分成两个独立的进程。 包含两个组件：ResourceManager和ApplicationMaster2、YARN的特性： 1）可扩展性；2）高可用性（HA）；3）兼容性（1.0版本的作业也可以执行）；4）提高集群利用率；5）支持MapReduce编程范式。3、Hadoop的进程： 1）NameNode HDFS的守护进程； 2）Secondary NameNode 监控HDFS状态的辅助后台程序，备用NameNode； 3）DataNode 负责把HDFS的数据块写到本地文件系...
今天写了关于首都之窗信件爬取的Python脚本，因为老师给的教程都是java语言，我这两天只学习了一下python爬虫，所以直接就用Python了。 在我开始研究首都之窗网页源代码后发现几个比较麻烦的问题，第一，在信件页面跳转下一页，网址没有发生变化，依旧是http://www.beijing.gov.cn/hudong/hdjl/com.web.search.replyMailList.flow，这其实是一个比较棘手的问题——因为我之前爬取的页面跳到下一页或上一页时网址都是有明显变化的...
分布式并行编程用于解决大规模数据的高效处理问题。分布式程序运行在大规模计算机集群上，集群中计算机并行执行大规模数据处理任务，从而获得海量计算能力。MapReduce是一种并行编程模型，用于大规模数据集的并行运算，将复杂的运行于大规模集群上的并行计算过程抽象到Map和Reduce两个函数。MapReduce采用“分而治之”的策略，将存储在分布式文件系统的大数据集切分成独立小数据块（即Split，分片），这些分片可以被多个Map任务并行...
一、前言Hadoop原理架构本人就不在此赘述了，可以自行百度，本文仅介绍Hadoop-3.1.2完全分布式环境搭建（本人使用三个虚拟机搭建）。首先，步骤：① 准备安装包和工具：hadoop-3.1.2.tar.gzjdk-8u221-linux-x64.tar.gz（Linux环境下的JDK）CertOS-7-x86_64-DVD-1810.iso（CentOS镜像） 工具：WinSCP（用于上传文件到虚拟机），SecureCRTP ortable（用于操作虚拟机，可复制粘贴Linux命令。不用该工具也可以，但是要纯手打命令），V...
文章目录 一、Linux 操作系统的安装二、在 Ubuntu 20.04.2.0 中 进行 Hadoop 伪分布式安装1、Ubuntu 20.04.2.0 安装 jdk2、配置 SSH 无密码登录3、Hadoop 的下载与安装4、Hadoop 环境配置5、启动与关闭 Hadoop6、查看 Hadoop 的基本信息6.1、查看 HDFS Web 界面6.2、查看 YARN Web 界面三、在 Centos7 中 进行 Hadoop 伪分布式安装 一、Linux 操作系统的安装 2021年 全网最细 Windows 系统安装虚拟机Vmware15 及 CentOS7系统和远程...
大数据学习笔记 - hadoop day02 - HDFS JAVA API 数据读写流程
转自：http://even2012.iteye.com/blog/1886950 1、使用JDBC处理大数据 在实际开发中，程序需要把大文本或二进制数据保存到数据库。 基本概念：大数据也称之为LOB(Large Objects)，LOB又分为：clob和blob （a）clob用于存储大文本。（mysql 中采用Text） （b）blob用于存储二进制数据，例如图像、声音、二进制文等。 对MySQL而言只有blob，而没有clob，mysql存储大文本采用的是...
文章目录 第四章 分类1.分类基本概念2.预测任务3.模型分类生成模型判别模型 4.经典分类方法4.1 决策树引入：高尔夫问题引入小结决策树构建决策树构造具体流程属性选择度量信息增益信息增益率 过拟合问题4.2 KNN算法什么是KNN算法？KNN基本思想KNN算法过程算法计算步骤算法的优缺点KNN的常见问题 4.3 朴素贝叶斯什么是贝叶斯分类算法？第四章 分类 1.分类基本概念 分类是一种数据分析形势，它提取刻画重要数据类的模型，这种模型叫分...
HDFS写入过程方法调用逻辑 & 源码注释解读 前一篇介绍HDFS模块的博客中，我们重点从实践角度介绍了各种API如何使用以及IDEA的基本安装和配置步骤，而从这一篇开始，将会正式整理HDFS的读写原理分析，由于全部一次性整理篇幅过长，本人会将这一部分的内容拆分成多篇，这一篇将会从宏观上把控整个写入过程的框架，并啃一啃源码中的注释部分，好了，废话不多说，直接开始吧！ 1. 框架图展示上图摘录自《Hadoop权威指南》，从这张图可知...
Java网络编程学习笔记 1. 网络编程基础知识 1.1 网络分层图 网络分层分为两种模型：OSI模型以及TCP/IP网络模型，前者模型分为7层，是一个理论的，参考的模型；后者为实际应用的模型，具体对应关系见下图： 1.2 网络编程三要素之IP地址 目前的版本是ipv4，采用的是点分十进制的表示方式(dotted-decimal notation)，一共4位，每一位表示一个字节，因为IP地址是没有负数的，因此表数范围是0-255，子网掩码的存在使得一个IP地址被区分...
好程序员大数据学习路线分享Actor学习笔记，在scala中她能实现很强大的功能,他是基于并发机制的一个事件模型我们现在学的scala2.10.x版本就是之前的Actor 同步:在主程序上排队执行的任务,只有前一个任务执行完毕后,才能执行下一个任务异步:指不进入主程序,而进入"任务对列"的任务,只有等主程序任务执行完毕,"任务对列"开始请求主程序,请求任务执行,该任务会进入主程序 java共享变量 -- 加锁会出现锁死问题 scalaActor不共享数据没有...
接着上篇我们继续进行pandas中的DataFrame，话不多说，直接撸代码，里面有注释#dataframe的操作不外乎 增删改查from pandas import Seriesfrom pandas import DataFramedf=DataFrame({age:Series([18,20,30]),name:Series([x1,x2,x3])})print(df)访问列：变量名[列名]访问行：变量名[n:m] 访问n行到m-1行访问块（行和列）：变量名.iloc[n1:n2, m1:m2] 访问n1到n2-1行，m1到m2-1列的数据访问指定的位置：变量名.at[行索引,列名]#访问...
pandas是什么呢？可能大家会看到各种解释，其实ta就是一个数据分析包啊。。。。。没啥可解释的pandas中常见的数据结构有三种，Series（一维数组，也叫序列），DataFrame（二维表格，类似excel多行多列），Panel（三维数组）那什么是数据结构呢？就是相互之间存在的一种或多种特定关系的数据类型的集合。好了，概念就是这么简单，相信有python基础的朋友应该很容易理解，如果你没有。。。。恩。。。就没有吧今天我们先来介绍下Serie...
Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。还有很多官方介绍，总而言之就是强大强大很强大。。。在我看来TA主要面向科学计算，其实就是数据分析的一个标准环境。下载地址：https://www.anaconda.com/distribution/至于安装完全是傻瓜式这里就不多说了~我在一些群里还看到有人推崇用python2，还是各种高大上的理由，我在这里强烈建议大家直接python3扔到2,官方即将放弃维护了，而且...