互联网商业模式创新电子商务与传统企业转型“一带一路”信息化：格局与对策“一带一路”沿线国家主权信用及风险防范大数据下的资源整合和知识共享地产数字化改革的痛点与处方携手共建“一带一路”数字经济与新实体经济管理模式创新驱动新旧动能转换中国企业股权激励现状分析及建议“丝绸之路”起源和发展的中国视角英国脱欧与欧盟未来工业4.0与中国制造2025互联网商业创新战略管理的概念和基本框架（2）—公司战略与核心竞争力战略...
Java、Python和大数据，哪个发展前景最好？ Java和Python是编程语言，而大数据则是一系列技术的整合，所以应该分开来看，三者并不能直接进行对比。三者实际的关系是目标和实现的包含关系。所以这个问题应该分别为 Java和Python哪个发展前景好？大数据的发展前景如何？关于大数据的发展前景 大数据并不是一种概念，而是一种方法论，一句话概括，就是通过分析和挖掘全量的非抽样的数据辅助决策。关于大数据的发展前景，这里引用马云说...
在实时数据的世界当中，我们为什么还要执着于Hadoop这一片森林?作为一套以批量处理为主要诉求的架构方案，Hadoop仍然堪称大数据技术领域的荣耀长子。然而根据451研究集团的调查数据显示，其实际普及效果仍然不及显赫的声誉。那些已经率先部署了Hadoop解决方案的企业可能希望稍稍放慢自己的前进脚步。伴随着Apache Spark以及其它一系列技术方案的出台(包括Storm、Kafka等等)，我们似乎与Hadoop的批量处理思路渐行渐远、转而踏上了一...
我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文讲解数据采集部分。数据采集的设计，几乎完全取决于数据源的特性，毕竟数据源是整个大数据平台蓄水的上游，数据采集不过是获取水源的管道罢了。在...
WIN7+Ubuntu16.04+Kafka1.0.0 1.下载kafka_2.11-1.0.0.tgzhttp://kafka.apache.org/downloads 2.解压到/usr/local/kafka中 3.设置配置文件/etc/profile文件，增加kafka的路径①vi /etc/profileexport KAFKA_HOME=/usr/local/kafka export PATH=$PATH:$KAFKA_HOME/bin②让配置文件立即生效source /etc/profile 4.检查kafka环境是否生效 kafka-server-stop.sh显示No kafka server to stop 5.启动zookeeper（这里使用kafka自带的zooke...
首先我们建立一个测试用员工表---创建一个测试的员工表---createtable Employee(EmployeeNo intprimarykey, --员工编号EmployeeName nvarchar(50) null, --员工名称CreateUser nvarchar(50) null, --创建人CreateDate datetimenull, --创建时间 ) 执行后结果：那么假如我们要批量插入10000条数据，应该怎么办？这里有四种方法（普通循环，事务循环、批量插入、cte插入）1、普通循环插入（while）/****************...
这 23 种设计模式的本质是面向对象设计原则的实际运用，是对类的封装性、继承性和多态性，以及类的关联关系和组合关系的充分理解。 当然，软件设计模式只是一个引导，在实际的软件开发中，必须根据具体的需求来选择： 对于简单的程序，可能写一个简单的算法要比引入某种设计模式更加容易； 但是对于大型项目开发或者框架设计，用设计模式来组织代码显然更好。 关于本教程本教程虽然命名为“Java设计模式”，但是设计模式并不是 Jav...
mysql迁移之巨大数据量快速迁移方案-增量备份及恢复--chenjianwen一、前言： 当mysql库的大小达到几十个G或者上百G，迁移起来是一件非常费事的事情，业务中断，导出导入耗费大量的时间；所以，需要考虑怎么去节省时间的问题。二、方案： 1.制定维护时间，中断业务，登录 mysql，刷新日志 2.全备数据，备份后得到 binlog 日志文件 mysql-bin.000001 3.迁移走之前的 binlog 日志文件，只留下 mysql-bin.000001 4.恢复...
目前主流的有两个工具可以实现物理热备：ibbackup和xtrabackup ;ibbackup是需要授权价格昂贵，而xtrabackup功能比ibbackup强大而且是开源的Xtrabackup提供了两种命令行工具：xtrabackup：专用于备份InnoDB和XtraDB引擎的数据;innobackupex：这是一个perl脚本，在执行过程中会调用xtrabackup命令可以实现备份InnoDB，也可以备份MyISAM引擎的对象Xtrabackup是由percona提供的mysql数据库备份工具，特点：(1)备份过程快速、可靠;(2)备...
任何完整的大数据平台，一般包括以下的几个过程：数据采集数据存储数据处理数据展现（可视化，报表和监控）其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：数据源多种多样数据量大，变化快如何保证数据采集的可靠性的性能如何避免重复数据如何保证数据的质量我们今天就来看看当前可用的一些数据采集的产品，重点关注一些它们是如何做到高可靠，高性能和高扩展。Apac...
一、简介oozie是hadoop平台开源的工作流调度引擎，用来管理hadoop作业，属于web应用程序，由oozie server 和oozie client构成。oozie server运行与tomcat容器中oozie的工作流必须是一个有向无环图，当用户需要执行多个关联的MapReduce作业时，只需要把作业写进workflow.xml中，再提交到oozie，oozie便可以托管服务，按照预先的配置有序执行任务。二、安装1.下载编译好的cdh版本http://archive.cloudera.com/cdh5/cdh/5/下载4.1-cdh...
王家林亲授《DT大数据梦工厂》大数据实战视频“Scala深入浅出实战经典”视频、音频和PPT下载！第63讲：Scala中隐式类代码实战详解百度云：http://pan.baidu.com/s/1o6wxJdS腾讯微云：http://url.cn/TfOJqr360云盘：http://yunpan.cn/cckajtapNGT9z 访问密码 369d本节王老师讲了隐式类。其作用就是把转换后的类放在一个作用域中，消除了之前的隐式转换方法。object Context{ implicit class RichFile(file:File){ def re...
当前全球正处在新一轮科技革命和产业变革的关键时期，以大数据为代表的信息技术产业变革，使各个企业在信息技术发展上处于新的起跑线上，如何充分挖掘利用大数据资源，是企业当前面临的重大课题。数据的战略意义，一方面在于掌握庞大的数据信息。另一方面则在于大数据与产业的结合，对海量数据进行专业化处理，实现数据的“增值”和应用的“价值”。随着资源整合和产业链拓展，大数据应用正在成为新的经济增长点，逐渐在智能家居，...
1、环境准备TDengine是涛思数据推出的一款开源的专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。目前，TDengine只支持在使用systemd做进程服务管理的linux系统上安装。用which命令来检测系统中是否存在systemdwhich systemd不支持systemd命令；只能使用源码安装了。2、源码下载源码下载地址为：...
1.1 什么大数据具体来说，大数据技术涉及到数据的创造，存储，获取和分析，大数据的主要特点有下面几个：数据量大。一个典型的PC机载2000年前后其存储空间可能有10GB，今天facebook一天增加的数据量就将近有500TB；一架波音737的飞机绕美国飞行一周将会产生200TB的数据；移动互联网的发展，智能手机的普及，人们每时每刻都在产生数以万计的数据。数据变化快。高速的股票交易市场，产生的数据以微秒计算；基础设施系统，实施系统每秒...