一、数据入库方式目前批量数据入库TDH大数据平台主要有如下几种方式1、手工入录一些静态表手工维护的数据，可以直接采用insert导入，或者使用waterdrop客户端工具导入，只适用少数据量的导入和更新2、dblinkTDH inceptor支持建立dblink直接连接db2，oracle，mysql等关系数据库，对于一些数据量不大的静态表，手工维护的表，可以通过建立dblink的方式获取数据优点:简单方便缺点:1）对大数据量的表，效率较差 2）初次使用相应数...
编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。在互联网时代被弱化的数据模型谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分...
导读：本次分享的主题为Hadoop or TDengine，如何做物联网大数据平台的选型？主要介绍物联网大数据处理中可能遇到的问题；结合实际的应用场景，分析TDengine、InfluxDB、ClickHouse、Hadoop、MySQL等系统在处理时序数据时的优缺点。——前言——1. 大数据时代大数据时代，大家都在说什么叫大数据，强调的就是一个“大”字，人们期望对海量数据的挖掘和运用能够获取到更多有价值的东西。其来源包括：微信聊天数据，淘宝&京东等电商数...
Centos7搭建hadoop环境的详细步骤 1.前期准备： 所需文件：3台虚拟机 ，jdk-8u161-linux-x64.tar.gz ，hadoop-2.7.4.tar.gz 1.1 centos的镜像下载地址：https://mirrors.aliyun.com/centos/7/isos/x86_64/ 1.2 jdk的下载地址：https://www.oracle.com/cn/java/technologies/javase/javase-jdk8-downloads.html 1.3 hadoop的下载地址： https://archive.apache.org/dist/hadoop/common/ 我这里我用的是 CentOS-7-x86_64-Minimal-200...
文章目录 一、hadoop简介二、HDFS分布式文件存储系统单机版部署三、伪分布式存储系统部署四、完全分布式存储系统部署 一、hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。 HDFS为海量的数据提供了存储。 MapReduce为海量的数据提供了计算。 Hadoop框架包括以...
作者介绍Tigerhu在线教育公司大数据营销产品线负责人。本人目前在一家在线教育公司担任大数据营销产品负责人，由于一些机缘巧合，我同时负责了数据产品线和营销CRM产品线，因此给了我更多的机会去思考和实践如何把数据与营销业务深入融合，将大数据的势能赋予营销平台，从而实现业务的精细化运营和数据驱动。针对在线教育业务场景下的大数据营销平台实战，我会用一个系列的文章进行系统化阐述。文章可能会涉及：大数据平台搭建、用...
download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gztar zxvf jdk-8u45-linux-x64.tar.gz cd jdk-8u45-linux-x64 sudo vi /etc/profile添加如下内容： export JAVA_HOME=/home/dir/jdk1.8.0_45 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin安装 Python sudo apt-get install python安装 zookeeper wget http://mirror.b...
NoSQL不是不用SQL，是Not only SQL，不仅仅是结构化的查询。NoSQL兴起的原因在Web2.0时代新浪一分钟可以发送两万条微博，苹果可以下载4.7万次应用。数据的高并发性，同时有90万次的查询向百度的服务器提出了搜索要求。还有高扩展性，Web应用千变万化，可能对字段的需求在不断地增加。传统的数据库无法对字段进行简单的扩展。 关系型数据库作为一个统一的数据模型，既被用于数据分析，也被用于在线业务。数据分析强调的是高吞吐量，...
本文重点介绍HTML5图表框架echarts入门及实战项目(含源码)，以此来实现大数据平台展示可视化效果。 缘起：最近接了个任务需要用H5在前台两个大电视上做两页数据展示公司的产品数据，效果要高大上，充分展示咱们公司的实力，给各位来公司参观的大能们留下深刻的印象。 还好之前接触过HTML5，所以第一时间想到就是echarts，这个框架对于数据展示尤其图表类处理的还是非常强大和炫酷的，入门也非常大简单。说干就干，首先到官网上把框...
一、Elasticsearch分布式数据库与ELK大数据平台（上部+下部）视频教程课程目标：为满足想学习和掌握ElasticStack大数据平台技术学员，风哥特别设计的一套比较系统的ElasticStack课程（7.9最新版本，上部+下部共计20小时），本教程内容涉及Elasticsearch数据库基础知识、Elasticsearch一般规模集群/亿万级规模分布式集群、ElasticSearch日常管理与基础开发、ElasticStack大数据平台解决方案、ElasticStack大数据平台小型/中型/大型/...
补充： 对于ssh登录不是特定端口22的，进行文件修改 vim /etc/ssh/sshd_config Port 61333 简化后序命令输入，修改文件如下： 一、java环境安装 一共5台服务器： master1 、master2、slave1、slave2、slave3 分别安装java环境 1、在/opt文件下新建文件夹workspace mkdir workspace 2、 在目录下下载需要的java版本 3、修改环境变量 vim /etc/profile 在文件的最后添加 export JAVA_HOME=/opt/workspace/jdk1.8export JRE_HOME=/op...
HDFS的Shell操作 1.语法介绍 1.1 通用语法 hdfs dfs [选项]1.2 创建文件夹 hdfs dfs -mkdir [-p]<paths>1.3 列出文件、目录 [-d] 返回path [-h] 人性化显示大小(human-readble) [-R] 级联显示path下的目录 hdfs dfs -ls [-d][-h][-R]<paths>显示级联目录 hdfs dfs -ls -R <paths>1.4 新建文件 hdfs dfs -touchz<paths> 1.5 上传文件至HDFS中 hdfs dfs -put [-f][-p]<localsrc> <dst> hdfs dfs -copyFromLocal [-f][-p][-l]<loca...
点击上方“公众号”可以订阅哦 本文根据作者在2017年ArchSummit的分享记录整理而成。背景互联网格局复杂多变，大规模的企业合并重组不时发生。原来完全独立甚至相互竞争的两家公司，有着独立的技术体系、平台和团队，如何整合，技术和管理上的难度都很大。2015年10月，美团与大众点评合并为今天的“美团点评”，成为全球规模最大的生活服务平台。主要分布在北京和上海两地的两支技术团队和两套技术平台，为业界提供了一个很好的整合...
当前，大数据已经成为推动经济社会发展的重要力量，同时也是解决民生问题的重要支撑。大数据技术值得每个企业和个人去深入了解。大数据生态圈经过十余年的指数式发展，各种技术百花齐放，新技术迭代更新速度日益加快。暂且抛开各种眼花缭乱的新名词，大数据技术本质上解决的是5个核心问题。（1）采集，海量的数据怎样快速批量的采集？（2）存储，海量的数据怎样可靠的存储？（3）计算，海量的数据怎样快速准确的计算？（4）查询，海...
Q1、大数据分析中的实时推荐是如何实现的？@rein07 某证券 系统架构师：实时推荐需要使用实时处理框架结合推荐算法，从而做到对数据的实时处理和推荐。实时处理框架有Storm、Flink、SparkStreaming，组件可以对接Kafka，获取实时流数据，在实时框架内部实现对数据的处理过程。@陈星星 科技公司 技术经理：1、实时推荐需要借助实时计算框架例如Spark或是Strom技术，2、数据采集采用Flume+Kafka作为数据缓存和分发作用3、同时还需要有...