前置工具及环境Hadoop 2.7.3sqoop 1.4.6mysql 8mysql-connector-java-8.0.20.jarjava-json.jar一、简介Sqoop 是一个常用的数据迁移工具，主要用于在不同存储系统之间实现数据的导入与导出：导入数据：从 MySQL，Oracle 等关系型数据库中导入数据到 HDFS、Hive、HBase 等分布式文件存储系统中；导出数据：从 分布式文件系统中导出数据到关系数据库中。其原理是将执行命令转化成 MapReduce 作业来实现数据的迁移。二、安装1、解压、配...
这段时间在做大数据方面的开发，使用Hadoop、HBase、Spark、Spart Streaming、Kafka、Docker、Kubernetes等等平台与组件，在服务器运维方面也在模仿着别人重复造轮子。要基于这些系统进行开发，就必须搭建一套稳定的服务器环境，虽然网上有大量的文章与教程，但在学习使用的过程中，还是踩了无数个坑，熬了不知多少个夜晚与周末，直到现在才算是真正上手，能快速搭建好平台，对出现的问题也能快速响应做出处理，当然，现在的积累还...
第一节 安装CentOS 7安装环境：VMware虚拟机中（ 建议入手正版软件哦 ）软件安装版本以及下载地址：CentOS-7-x86_64-DVD-2009.iso安装步骤1.1 创建一台虚拟机1.2 给虚拟机挂载操作系统1.3 开启虚拟机并安装操作系统install centos7直接回?运?即可在地图位置点击中国，选择时区为shanghai，点击左上?的Done按钮完成设置选择 INSTALLATION DESTINATION选择I will confifigure partitioning?定义分区，然后按左上?的蓝?Done按钮。继续...
WIN7+Ubuntu16.04+Kafka1.0.0 1.下载kafka_2.11-1.0.0.tgzhttp://kafka.apache.org/downloads 2.解压到/usr/local/kafka中 3.设置配置文件/etc/profile文件，增加kafka的路径①vi /etc/profileexport KAFKA_HOME=/usr/local/kafka export PATH=$PATH:$KAFKA_HOME/bin②让配置文件立即生效source /etc/profile 4.检查kafka环境是否生效 kafka-server-stop.sh显示No kafka server to stop 5.启动zookeeper（这里使用kafka自带的zooke...
一、简介oozie是hadoop平台开源的工作流调度引擎，用来管理hadoop作业，属于web应用程序，由oozie server 和oozie client构成。oozie server运行与tomcat容器中oozie的工作流必须是一个有向无环图，当用户需要执行多个关联的MapReduce作业时，只需要把作业写进workflow.xml中，再提交到oozie，oozie便可以托管服务，按照预先的配置有序执行任务。二、安装1.下载编译好的cdh版本http://archive.cloudera.com/cdh5/cdh/5/下载4.1-cdh...
1、环境准备TDengine是涛思数据推出的一款开源的专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。目前，TDengine只支持在使用systemd做进程服务管理的linux系统上安装。用which命令来检测系统中是否存在systemdwhich systemd不支持systemd命令；只能使用源码安装了。2、源码下载源码下载地址为：...
区配置：1.查看时区 2 .修改时区3 安装mysql 下载MySQL数据脚本（如下有安装MySQL服务可以忽略） 下载然后解压；tar -zxvf azkaban-sql-script-2.5.0.tar.gz创建用户、分配权限并执行脚本 mysql –u root –pxxxx创建数据库: CREATE DATABASE azkaban;创建好数据库然后退出。然后将sql-script文件中的create-all-sql-2.5.0.sql中的数据表创建在刚创建好的azkaban 数据库当中。使用命令：mysql –u root –pxxxx -Dazkaban < /绝...
https://drill.apache.org/ 一 简介Drill is an Apache open-source SQL query engine for Big Data exploration. Drill is designed from the ground up to support high-performance analysis on the semi-structured and rapidly evolving data coming from modern Big Data applications, while still providing the familiarity and ecosystem of ANSI SQL, the industry-standard query language. Drill provides plug-and-p...
一、台安装部署前各项准备 1、安装centos7系统，这个我在vmware里面安装的，具体怎么装这里就不多讲了，我建议安装桌面版本的 2、修改静态IP地址 打开终端，首先我们配置动态IP，切换到root用户 输入 vim /etc/sysconfig/network-scripts/ifcfg-ens33 然后保存退出，重启网卡，再检查我们的ip地址 测试一下网络没有问题 现在开始配置静态ip信息 TYPE=Ethernet PROXY_METHOD=none...
使用yum方式完成服务安装 ___By Nemo（仅供参考） Notice:Apache 安装好之后，我又改回桥接模式用rpm安装了。 首先，让你的虚拟机上个网，所以需要把网卡设置成nat模式，在宿主机上先拨个号，设好后重启linux系统。650) this.width=650;" height="222" src="/upload/getfiles/default/2022/11/16/20221116074856009.jpg" width="554" /> 重启后，打开firefox，看是不是能上网。Ok，但nat模式默...
一、安装部署kafka1、集群规划hadoop102 hadoop103 hadoop104zk zk zkkafka kafka kafka2、jar包下载http://kafka.apache.org/downloads.html 3、集群部署1）解压安装包[test@hadoop102 software...
NNSNNDNnode0001* node0002 **node0003 *node0004 * 1、环境检查：4台机器jdk安装完成date （检查时间，相差不能超过几秒，主从节点ping不通）date -s "2020-07-18 23:32:00" (4台机器设置i相同时间)cat /etc/sysconfig/network (查看4台机器别名是否设置好)cat /etc/hosts (查看ip/别名映射是否设置好 )cat /etc/sysconfig/selinux （查询安全机制文件是否关闭 SELINUX=disabled）检查防火墙是否关闭2、秘钥分...
1. Kafka集群的安装准备1.1. 选择安装Kafka的版本由于kafka是scala语言编写的，基于scala的多个版本，kafka发布了多个版本。其中2.11是推荐版本。1.2. 下载并解压安装包解压文件，删除之前的的安装记录，并重命名tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/ cd /export/servers/ rm -rf /export/servers/kafka rm -rf /export/logs/kafka/ rm -rf /export/data/kafka mv kafka_2.11-1.0.0 kafka 2. 查看目录及修改配置文件...
先简单说下安装kafka的流程。。（可配置多个zookeeper，这篇文只说一个zookeeper场景）1.环境配置：jdk1.7+ (LZ用的是jdk1.8)2.资料准备：下载 kafka_2.10-0.10.1.1.tgz ，官网链接为https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.1.1/kafka_2.10-0.10.1.1.tgz3.单机版安装步骤： a.将tgz放入目录： /app/ b.解压：tar -xzvf kafka_2.10-0.10.1.1.tgz c.修改配置：(暂时可不修改) d.启动zookeeper：在ka...
1、datax简述DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。datax的开源地址：https://github.com/alibaba/DataX 安装参考：https://www.cnblogs.com/jiangbei/p/10901201.html2、datax在windows下的简单使用步骤 在命令提示符界面进入datax\bin目录下...