同上一部分的内容，在进行二分类问题时，逻辑斯蒂回归也是一种常用的分类方法。逻辑斯蒂回归使用了一个Sigmoid函数来作为核心的内容来实现分类的思想，接下里介绍在Pyspark中使用MLlib来实现逻辑斯蒂回归。 第一步：导入需要的库函数 import sysfrom time import timeimport pandas as pdimport matplotlib.pyplot as pltfrom pyspark import SparkConf, SparkContextfrom pyspark.mllib.classification import LogisticRegression...
决策树是在数据分类问题中的一种常用且经典的机器学习方法，在本例里使用决策树模型来分析StumbleUpon数据集，来预测网页是暂时的(ephemeral)还是长青的(evergreen)，并且调教参数找出最佳的参数组合，来提高预测准确度。 像这类经典的二分类问题，在python中调包来做的话会非常容易，且分析手段也有很多。但是现在的练习任务是使用Spark来对着类问题进行处理，因此，下面将开始介绍使用Spark进行二分类问题的过程。 第一步：分析数...
在历经千辛万苦后，终于把所有的东西都配置好了。 下面开始介绍pyspark的一些基础内容，以字数统计为例。 1）在本地运行pyspark程序 读取本地文件 textFile=sc.textFile("file:/usr/local/spark/README.md") textFile.count() 读取HDFS文件 textFile=sc.textFile(hdfs://master:9000/user/*********/wordcount/input/LICENSE.txt") textFile.count() 2）在Hadoop YARN运行pyspark HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop py...
MapReduce是一种程序开发模式，可以使用大量服务器来并行处理。MapReduce，就是Map分配工作，Reduce将工作结果汇总整理。 本次之中以WordCount为范例，计算文件中每一个英文单词出现的次数。 1）创建wordcount目录 mkdir -p ~/wordcount/input cd ~/wordcount 使用sudo gedit WordCount.java来编辑文档。 2）编译WordCount.java sudo gedit ~/.bashrc 然后加入配置文件 让~/.bashrc设置生效 source ~/.bashrc 接下来开始编译 hadoo...
历经千辛万苦，终于把Ubuntu和Hadoop安装好了，过程很繁琐也很费时间，在这里就不展开讲述了。 下面将开始介绍Hadoop HDFS命令。 HDFS命令格式如下： hadoop fs -命令 1）常用的HDFS命令： hadoop fs -mkdir 创建HDFS目录 hadoop fs -ls 列出HDFS目录 hadoop fs -copyFromLocal 使用-copyFromLocal复制本地（local）文件到HDFS hadoop fs -put 使用-put复制本地（local）文件到HDFS hadoop fs -cat 列出HDFS目录下的文件内容 hadoo...
先说一下今天的学习目标：今天我们将使用Java在Window7客户端上对HBase进行调用，进行创建表，插入行，读取行，读取所有表记录，删除表等基础操作。下面开始今天的学习1.开启hadoop,并测试是否可用start-all.sh Warning不用管，不影响使用。jpshadoop fs -ls /2.开启HBasestart-hbase.shhbase shelljps 检测Java进程3.开始Eclipse 连接HDFS连接成功4.创建项目Hadoop_5_HBase开始编程我们将要创建HBaseHelper.java和HBaseInvoke.jav...
-i mysql 如果之前已经安装了mysql，则停止mysql服务#service mysqld stop 第二步，卸载已经安装的mysql（先卸载mysql-server-5.1.73-7.el6.x86_64和mysql-5.1.73-7.el6.x86_64）#rpm -ev mysql-server-5.1.73-7.el6.x86_64#rpm -ev mysql-5.1.73-7.el6.x86_64#rpm -ev perl-DBD-MySQL-4.013-3.el6.x86_64#rpm -ev mysql-devel-5.1.73-7.el6.x86_64 卸载centos自带的mysql-libs-5.1.73-7.el6.x86_64# rpm -ev --nodeps mys...
一、前言Hadoop原理架构本人就不在此赘述了，可以自行百度，本文仅介绍Hadoop-3.1.2完全分布式环境搭建（本人使用三个虚拟机搭建）。首先，步骤：① 准备安装包和工具：hadoop-3.1.2.tar.gzjdk-8u221-linux-x64.tar.gz（Linux环境下的JDK）CertOS-7-x86_64-DVD-1810.iso（CentOS镜像） 工具：WinSCP（用于上传文件到虚拟机），SecureCRTP ortable（用于操作虚拟机，可复制粘贴Linux命令。不用该工具也可以，但是要纯手打命令），V...
本篇介绍两种HBase的安装方式：本地安装方式和伪分布式安装方式。安装的前提条件是已经成功安装了hadoop，而且hadoop的版本要和hbase的版本相匹配。我将要安装的hbase是hbase-0.94.11版本，需要的hadoop是hadoop-1.2.1版本。hbase下载地址：http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.11/将下载的hbase-0.94.11解压到相应的目录，如/usr/hbase-0.94.11将hbase-0.90.4重命名为hbasemv hbase-0.94.11 hbase首先需要将hbase下...
今天的主要来分析一下HBase的特点，提出一些真实的应用场景，利用HBase去解决应用中的效率问题；HBase特点概述HBase是google的Bigtable的开源实现，建立在HDFS上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。HBase介于nosql和rdbms之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。因为底层是Hadoop所...
先看一下什么是Hive，Hive是Hadoop的一个子项目，它是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库 表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive的安装方式有两种，一种是使用Derby数据库的安装方式，另一种是使用MySQL数据库的安装方...
搭建为伪分布式Hadoop环境1、宿主机（Windows）与客户机（安装在虚拟机中的Linux）网络连接。a) Host-only 宿主机与客户机单独组网；好处：网络隔离；坏处：虚拟机和其他服务器之间不能通讯；b) Bridge 桥接 宿主机与客户机在同一个局域网中。好处：窦在同一个局域网，可以互相访问；坏处：不完全。2、Hadoop的为分布式安装步骤a) 设置静态IP在centos下左面上右上角图标右键修改；重启网卡service network restart;验证：执行命令i...
文章目录 一、Linux 操作系统的安装二、在 Ubuntu 20.04.2.0 中 进行 Hadoop 伪分布式安装1、Ubuntu 20.04.2.0 安装 jdk2、配置 SSH 无密码登录3、Hadoop 的下载与安装4、Hadoop 环境配置5、启动与关闭 Hadoop6、查看 Hadoop 的基本信息6.1、查看 HDFS Web 界面6.2、查看 YARN Web 界面三、在 Centos7 中 进行 Hadoop 伪分布式安装 一、Linux 操作系统的安装 2021年 全网最细 Windows 系统安装虚拟机Vmware15 及 CentOS7系统和远程...
Linux介绍和环境搭建 linux的主要特点 基本思想 Linux的基本思想有两点：一切都是文件； 每个软件都有确定的用途。完全免费，多用户、多任务； 良好的界面，支持多种平台。 注意： linx是一个免费的像windows一样的操作系统 linux中几乎一切是基于文件，文件几乎没有后缀区分 linux中有且仅有一个超级用户root linux一般用作服务器linux的目录结构目录 作用/ linux系统的根目录，一般只存放目录/bin和/usr/bin 命令(二进制)文件目录...
本篇内容关注NameNode启动之前，active状态和standby状态的一些后台服务及准备工作，即源码里的CommonServices。主要包括磁盘空间检查、 可用资源检查、安全模式等。依然分为三部分：源码调用分析、伪代码核心梳理、调用关系图解。 第一部分，源码调用分析。接着上篇RpcServer启动之后开始梳理，进入到了initialize()方法中。protected void initialize(Configuration conf) throws IOException {// 可以通过找到下面变量名的映射，...