我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文讲解数据采集部分。数据采集的设计，几乎完全取决于数据源的特性，毕竟数据源是整个大数据平台蓄水的上游，数据采集不过是获取水源的管道罢了。在...
一、简介oozie是hadoop平台开源的工作流调度引擎，用来管理hadoop作业，属于web应用程序，由oozie server 和oozie client构成。oozie server运行与tomcat容器中oozie的工作流必须是一个有向无环图，当用户需要执行多个关联的MapReduce作业时，只需要把作业写进workflow.xml中，再提交到oozie，oozie便可以托管服务，按照预先的配置有序执行任务。二、安装1.下载编译好的cdh版本http://archive.cloudera.com/cdh5/cdh/5/下载4.1-cdh...
1、环境准备TDengine是涛思数据推出的一款开源的专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。目前，TDengine只支持在使用systemd做进程服务管理的linux系统上安装。用which命令来检测系统中是否存在systemdwhich systemd不支持systemd命令；只能使用源码安装了。2、源码下载源码下载地址为：...
安装包ambari-2.7.3.0-centos7.tar.gzHDP-3.1.0.0-centos7-rpm.tar.gzHDP-UTILS-1.1.0.22-centos7.tar.gzHDP-GPL-3.1.0.0-centos7-gpl.tar.gzAmbariAmbari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等）， 而并不仅是特指 Hadoop。...
免费开通大数据服务：https://www.aliyun.com/product/odps“令人惊喜的是，利用阿里云的数加平台，我们差不多一个多月就搭建好了大数据平台，并且可以通过图形化的界面快速的开发，几个开发人员很快的掌握，甚至我们把阿里云的开发端给了业务部门，他们一些稍微资深一点的业务人员也可以使用，所以我们初步估计了一下，给我们节省的价值至少是千万级的。”——网鱼网咖CTO楚发关于网鱼网咖网鱼网咖成立于1998年，致力于打造多人游...
一、概述JSON的全称是”JavaScript Object Notation”，意思是JavaScript对象表示法，它是一种基于文本，独立于语言的轻量级数据交换格式。XML也是一种数据交换格式，为什么没 有选择XML呢？因为XML虽然可以作为跨平台的数据交换格式，但是在JS(JavaScript的简写)中处理XML非常不方便，同时XML标记比数据 多，增加了交换产生的流量，而JSON没有附加的任何标记，在JS中可作为对象处理，所以我们更倾向于选择JSON来交换数据。这篇文章...
最近要为第三方搭建一套大数据平台，中间先进行了虚拟机版本，测试通过后，进行了物理机版本的生产环境，网上关于ambari 的文章并不多，但好在ambari 官方文档质量略高，社区比较活跃，便整理该系列的文档，将埋掉的坑抛出来，帮助小伙伴们更加快速的搭建自己的hadoop 平台。分三个部分：1. 为什么选择ambari 来搭建 说到ambari, 主要的对手cloudrea manager ，大家比较熟悉，至于各自长短，优势劣汰，大家自己斟酌选择啦。...
阿里云发布飞天大数据平台，云计算打响“DT战争”？ 虽然Jack马先生总是口出惊人之语，但事实证明他说的话总是不断被应验。 2016年的“新零售”现在已经是公认的零售新篇章，而2014年的“人类正从IT时代走向DT时代”，也在逐渐变成现实——不管什么样的企业，都习惯要“大数据”一下。 这其中，阿里自己往往成为“预言”的忠实拥趸，新零售跑马圈地，现在大数据也要“搞个大新闻”。 不久前，阿里云在其峰会上发布了大...
广义上来说，Hadoop大数据平台也可以看做是新一代的数据仓库系统， 它也具有很多现代数据仓库的特征，也被企业所广泛使用。因为MPP架构的可扩展性，基于MPP的数据仓库系统有时候也被划分到大数据平台类产品。但是数据仓库和Hadoop平台还是有很多显著的不同。针对不同的使用场景其发挥的作用和给用户带来的体验也不经相同。用户可以根据下表简单判断什么场景更适合用什么样的产品。 数据仓库和Hadoop大数据平台特性比较特性HadoopDa...
一、台安装部署前各项准备 1、安装centos7系统，这个我在vmware里面安装的，具体怎么装这里就不多讲了，我建议安装桌面版本的 2、修改静态IP地址 打开终端，首先我们配置动态IP，切换到root用户 输入 vim /etc/sysconfig/network-scripts/ifcfg-ens33 然后保存退出，重启网卡，再检查我们的ip地址 测试一下网络没有问题 现在开始配置静态ip信息 TYPE=Ethernet PROXY_METHOD=none...
hadoop大数据平台架构之DKhadoop详解大数据的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容。目前国内的商业发行版hadoop除了大快DKhadoop以外还有像华为云等。虽然发行方不同，但在平台...
Apache Spark 简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环...
因篇幅过长，故分为两节，上节主要说明hadoop运行环境和必须的基础软件，包括VMware虚拟机软件的说明安装、Xmanager5管理软件以及CentOS操作系统的安装和基本网络配置。具体请参看：【HADOOP】| 环境搭建：从零开始搭建hadoop大数据平台（单机/伪分布式）-上6. Linux节点配置 设置主机名：根据规划修改主机名，执行hostnamectl set-hostname hdoop1，修改主机名并写入配置文件，使用hostname查看当前生效的主机名。 关闭防火...
一、数据入库方式目前批量数据入库TDH大数据平台主要有如下几种方式1、手工入录一些静态表手工维护的数据，可以直接采用insert导入，或者使用waterdrop客户端工具导入，只适用少数据量的导入和更新2、dblinkTDH inceptor支持建立dblink直接连接db2，oracle，mysql等关系数据库，对于一些数据量不大的静态表，手工维护的表，可以通过建立dblink的方式获取数据优点:简单方便缺点:1）对大数据量的表，效率较差 2）初次使用相应数...
编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。在互联网时代被弱化的数据模型谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分...