标准号：GB/T 38675-2020中文名称：信息技术 大数据计算系统通用要求英文名称：Information technology—General requirements for big data computing systems起草单位： 浪潮电子信息产业股份有限公司、中国电子技术标准化研究院、北京华胜天成科技股份有限公司、浪潮软件集团有限公司、上海计算机软件技术开发中心、勤智数码科技股份有限公司、平安科技(深圳)有限公司、内蒙古大学、中国铁道科学研究院集团有限公司、等起草人：...
联合国“全球脉动”计划发布《大数据开发：机遇与挑战》2012 年 5 月 29 日，联合国“全球脉动”（ Global Pulse）计划发布《大数据开发：机遇与挑战》报告，阐述了各国特别是发展中国家在运用大数据促进社会发展方面所面临的历史机遇和挑战，并为正确运用大数据提出了策略建议。1. 引言技术创新和数字设备的普及带来了“数据的产业革命”。对日益扩大的数字数据的分析将揭示关于集体行为的潜在联系，并有可能改进决策方式。大数据...
在金融大数据功能中，使用了TuShare的数据接口，其所有接口都采用WebAPI的方式提供，本来还在纠结着应该搬那些数据接口给用户使用，后来发现，所有数据接口都有其通用性，结合Excel灵活友好的输入方式，将其输入参数统一在Excel界面进行维护，最终实现了所有接口均可由用户自己去维护参数的方式发出查询获得所有的结果，非常完美。此篇对应的Excel催化剂功能实现：第98波-零代码零距离轻松接触并拥有金融大数据 - 简书 https://www...
一、前言1、上一文搭建好了Hadoop单机模式，这一文继续搭建Hadoop集群二、搭建Hadoop集群1、根据上文的流程得到两台单机模式的机器，并保证两台单机模式正常启动，记得第二台机器core-site.xml内的fs.defaultFS参数值要改成本机的来启动，启动完毕后再改回来2、清空数据，首先把运行单机模式后生成的数据全部清理掉rm -rf /work/hadoop/nn/currentrm -rf /work/hadoop/dn/currenthdfs namenode -format3、启动集群（1）storm1作为n...
Flink窗口背景Flink认为Batch是Streaming的一个特例，因此Flink底层引擎是一个流式引擎，在上面实现了流处理和批处理。而Window就是从Streaming到Batch的桥梁。通俗讲，Window是用来对一个无限的流设置一个有限的集合，从而在有界的数据集上进行操作的一种机制。流上的集合由Window来划定范围，比如“计算过去10分钟”或者“最后50个元素的和”。Window可以由时间（Time Window）（比如每30s）或者数据（Count Window）（如每100个...
1.大数称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。所以利用大数据的人们思维更加的敏锐，也会对人们的思维方式产生扩大化，通过大量的数据进行分析，从而形成更多推进人类社会进步的产品，走上更新的时代。2.物联网产生大数据，大数据助力物联网。目前，物联网正在支撑起社会活动和人们生活方式的变革，被称为继计算机、互联网之后冲击现代社会的第三次信息...
第一节 安装CentOS 7安装环境：VMware虚拟机中（ 建议入手正版软件哦 ）软件安装版本以及下载地址：CentOS-7-x86_64-DVD-2009.iso安装步骤1.1 创建一台虚拟机1.2 给虚拟机挂载操作系统1.3 开启虚拟机并安装操作系统install centos7直接回?运?即可在地图位置点击中国，选择时区为shanghai，点击左上?的Done按钮完成设置选择 INSTALLATION DESTINATION选择I will confifigure partitioning?定义分区，然后按左上?的蓝?Done按钮。继续...
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t where num=03.应尽量避免在 where 子句中使用!=或<>操作符，否则引擎将放弃使用索引而进行全表扫描。4.应尽...
一.用图表描述Hadoop生态系统的各个组件及其关系。Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。(1).HDFS:具有处理超大数据、流式处理、可以运行在廉价商用服务器上，访问应用程序数据时有很高的吞吐率。(2).HBase:是一个高可靠、高性能、面向列、可伸缩的分布式数据库，采用基于列的存储，具有良好的横向扩展能力。(3).MapReduce:分...
引言：从对大数据的狂热到理性的回归，项目实施起到了醍醐灌顶的作用，大数据技术只能作为一种IT基础架构（存储+运算），而实际的工程化实施，还是要回归到IT传统技术，最近在整合大数据时代的数据仓库框架，希望能有更多的人参与进来。数据仓库实施数据模型的组织，需要引入更多的规则，下面要谈的就是数据仓库数据内容的组织方式。来自TD，可以借鉴到大数据时代的数据仓库建设。一：基础模型层 Prefix_Subject_Body_Suffix...
互联网商业模式创新电子商务与传统企业转型“一带一路”信息化：格局与对策“一带一路”沿线国家主权信用及风险防范大数据下的资源整合和知识共享地产数字化改革的痛点与处方携手共建“一带一路”数字经济与新实体经济管理模式创新驱动新旧动能转换中国企业股权激励现状分析及建议“丝绸之路”起源和发展的中国视角英国脱欧与欧盟未来工业4.0与中国制造2025互联网商业创新战略管理的概念和基本框架（2）—公司战略与核心竞争力战略...
Java、Python和大数据，哪个发展前景最好？ Java和Python是编程语言，而大数据则是一系列技术的整合，所以应该分开来看，三者并不能直接进行对比。三者实际的关系是目标和实现的包含关系。所以这个问题应该分别为 Java和Python哪个发展前景好？大数据的发展前景如何？关于大数据的发展前景 大数据并不是一种概念，而是一种方法论，一句话概括，就是通过分析和挖掘全量的非抽样的数据辅助决策。关于大数据的发展前景，这里引用马云说...
在实时数据的世界当中，我们为什么还要执着于Hadoop这一片森林?作为一套以批量处理为主要诉求的架构方案，Hadoop仍然堪称大数据技术领域的荣耀长子。然而根据451研究集团的调查数据显示，其实际普及效果仍然不及显赫的声誉。那些已经率先部署了Hadoop解决方案的企业可能希望稍稍放慢自己的前进脚步。伴随着Apache Spark以及其它一系列技术方案的出台(包括Storm、Kafka等等)，我们似乎与Hadoop的批量处理思路渐行渐远、转而踏上了一...
我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文讲解数据采集部分。数据采集的设计，几乎完全取决于数据源的特性，毕竟数据源是整个大数据平台蓄水的上游，数据采集不过是获取水源的管道罢了。在...
WIN7+Ubuntu16.04+Kafka1.0.0 1.下载kafka_2.11-1.0.0.tgzhttp://kafka.apache.org/downloads 2.解压到/usr/local/kafka中 3.设置配置文件/etc/profile文件，增加kafka的路径①vi /etc/profileexport KAFKA_HOME=/usr/local/kafka export PATH=$PATH:$KAFKA_HOME/bin②让配置文件立即生效source /etc/profile 4.检查kafka环境是否生效 kafka-server-stop.sh显示No kafka server to stop 5.启动zookeeper（这里使用kafka自带的zooke...