根据我们的研究和实践，我们认为数据资产管理活动可以分为三个方面：第一是让数据用起来 第二是让数据用得放心 第三是让数据创造价值 我们的政府部门，尤其是政府的大数据管理部门，在过去十几年中，针对“让数据用起来”做了很多工作，建设了诸如数据交换平台、数据共享平台、数据资源目录、基础库、主题库，甚至数据中台、数据湖等这样的项目。 但是这些项目建设完后，所建设的数据中心的建设成果还不够理想，尤其是数据质量上...
大数据是客户获取业务洞察力的关键推动因素，在IT，营销，财务，安全性和合规性以及业务运营等关键业务领域发挥重要作用。 对于大数据平台，以熟知的Hadoop分布式框架使用并行跨多个服务器和存储实现分布式数据处理，并且形成了工具和应用的生态系统，帮助使用者了解和处理不断增长的海量数据，将多种数据源包含结构化、非结构化数据进行统一的数据展示和管理，但是现在基础设施是否能适用应用的发展？大数据集群基于物理主机构建，...
随着5G时代的到来，大数据应用得到迅速的发展，并且得到很多人的关注。在大数据发展的时代中，大数据人才稀缺是非常大的，所以现在大数据成为了市场和行业中的热点。由于市场和行业中的稀缺，大数据人才在岗位中得到的薪资是非常高的，掌握大数据的技术对提高薪资有很大的帮助。那么在大数据时代中，你了解大数据吗？下面为大家介绍大数据的主要应用领域。 一、电商行业 电商行业是最早将大数据用于精准营销的行业，它可以根据消...
前言 IOC（Intelligent Operations Center）——智慧城市智能运营中心就是智慧城市的大脑，是建立在各个智慧应用系统之上的系统。通过对政府各职能部门的业务信息共享与整合，聚焦城市运行监测、分析决策、可视化指挥、应急管理等环节，对人口统计、民生服务、信访举报、产业经济、突发事件等一系列综合指标进行有效监控，并围绕网格化管理、综合执法、环境卫生、园林绿化等重点领域，提升城市运行管理水平和突发事件的处置效率。打...
在《携程技术2018年度合集》中，一共70篇文章中，只有5篇是大数据的内容。其中有一篇，讲到了Alluxio的应用过程。 在2018年，携程主集群规模已经突破千台，存储着50PB的数据，并且每天的数据增量大概是400TB。每天的作业数也达到了30万。 当时，携程使用的Spark Streaming实时任务，会将结果数据直接写入到HDFS中，400个流作业每天带来500万小文件的落地，虽然会有任务定期进行小文件合并，但巨大的增量为HDFS集群带来了很大的压力...
面向大数据的区块链在清算系统中的应用 蔡维德1,2,3, 郁莲4, 袁波2, 邓佑权2, 李琪1, 郭斌1 1 北京航空航天大学数字社会与区块链实验室，北京 100191 2 北京天德科技有限公司，北京 100080 3 亚利桑那州立大学，美国亚利桑那州 菲尼克斯 85287 4 北京大学软件与微电子学院，北京 102600 摘要：介绍面向大数据的区块链在清算系统中的应用实践，内容涉及区块链共识、区块链交易数据安全传输、区块链数据存储、区块链数据查询、交易数...
学术大数据技术在科技管理过程中的应用 梁英1, 张伟1,2, 余知栋1,2, 史红周1 1 中国科学院计算技术研究所，北京 100190 2 中国科学院大学，北京 100190 摘要：学术大数据逐步成为提升科技管理水平的重要数据基础。通过调研国内外科技管理信息化的发展现状和特点，总结了学术大数据的发展及应用，分析了学术大数据在科技管理过程应用中面临的问题。结合我国科技管理的应用需求，设计了基于学术大数据的科技管理应用框架。基于知识图...
学术大数据在企业专家对接中的应用 张永锋1, 霍东云2, 李振华1, 智强2,3, 李燕茜2 1 清华大学软件学院，北京 100084 2 北京赛时科技有限公司，北京 100084 3 东莞理工学院科技资源大数据研究与成果转化中心，广东 东莞 523808 摘要：基于创新驱动战略的大背景，分析了企业和高校科研机构的专家在对接过程中面临的困难。以学术大数据技术为支撑，搭建了产业领域专家数据集成系统，并以此为基础，建立了科技成果全链转化体系。在线上...
在过去的企业中，我们对销售分析划分为“整体销售”、“门店布局”、“商品结构”和“价格体系”，当然它们之间的分析不是完全割裂的，而是根据关注点的主次来进行分析报表的设计。 在整体销售中，销售额和销售量的同期比、进度比、对标比是都要关注的；另外还要结合时间进行季节性的分析，以区分淡旺季的营销策略；以及不同级别的门店的商品结构应该如何设置等等..... 在门店布局中，分析公司的销售门店及各门店的表现，结合...
一、大数据导论 1.大数据概念 （1）大数据概念 最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，大数据是当前很热的一个词。这几年来，云计算、继而大数据，成了整个社会的热点，大数据究竟是什么东西?有哪些相关技术?对普通人的生活会有怎样的影响?我们来一步步弄清这些问题。 CCTV9-大数据时代中国首部大数据产业题材纪录片——《大数据时代》于7月1日20:04分在央视9套纪录频道首播，该片由中央广播电视总台与工业和信息...
大数据基础系列之提交spark应用及依赖管理 浪尖 浪尖聊大数据 在Spark的bin目录下的spark-submit脚本用于提交一个任务到集群中。因为是针对所有的集群管理器统一接口(local，Standalone，yarn，mesos)，所以不必为每一个集群管理器进行特殊的配置。一，打包应用的依赖如果你的代码依赖于其它工程，你需要将它们和你的应用一起打包，目的是将这些代码分发到Spark集群中去。为了达到这个目的，需要创建一个assembly jar或者super ja...
在过去的企业中，我们对销售分析划分为“整体销售”、“门店布局”、“商品结构”和“价格体系”，当然它们之间的分析不是完全割裂的，而是根据关注点的主次来进行分析报表的设计。 在整体销售中，销售额和销售量的同期比、进度比、对标比是都要关注的；另外还要结合时间进行季节性的分析，以区分淡旺季的营销策略；以及不同级别的门店的商品结构应该如何设置等等.....在门店布局中，分析公司的销售门店及各门店的表现，结合地理布...