偶然的机会在网上看到了这篇blog，觉得作者写得挺不错的(虽然自己并没有怎么看懂。。。)，所以就转来跟大家分享分享吧~~~对于我们开发的网站，如果网站的访问量非常大的话，那么我们就需要考虑相关的并发访问问题了。而并发问题是绝大部分的程序员头疼的问题，但话又说回来了，既然逃避不掉，那我们就坦然面对吧~今天就让我们一起来研究一下常见的并发和同步吧。 为了更好的理解并发和同步，我们需要先明白两个重要的概念:同步和...
1. 上传大文件/* 以1.5M/秒的速度写入文件，防止一次过写入文件过大导致服务器出错(chy/20150327) */$is_large_file = false;if( strlen($xml_str)>=2097152 ){ //当文件大于2M$is_large_file = true;fwrite($fp, $pre, strlen($pre)); //写入头部$start = 0;while( $content=mb_strcut($xml_str,$start,1572864) ){$start = $start + 1572864;$writeResult = fwrite($fp, $content, strlen($content));if( !$writeResult ){unlink...
1）为什么要建宽表需求目标，把每个用户单日的行为聚合起来组成一张多列宽表，以便之后关联用户维度信息后进行，不同角度的统计分析1 创建用户行为宽表 hive (gmall)> drop table if exists dws_user_action; create external table dws_user_action ( user_id string comment ‘用户 id‘,order_count bigint comment ‘下单次数 ‘,order_amount decimal(16,2) comment ‘下单金额 ‘,payment_cou...
美国队长：这怎么知道？国防军官：这怎么不知道，21世纪就是本数码书。佐拉教会九头蛇怎么去读它，你的银行记录、病例、投票模式、电子邮件、通话信息、还有大学成绩单...左拉的算法会评估人们的过去，然后预测他们的未来。 ——《美国队长2》 听起来很玄乎，但事实是我们真的正在进入“大数据时代”，支付宝最新上线的“芝麻信用分”就是一个例子。芝麻分的背后是芝麻信用对海量信息数据的综合处理和评估，主要包含了用户信用历史...
系统准备Centos6.5 Windows10相关软件包下载：链接：https://pan.baidu.com/s/1EOLUphwZgzwSX01HsDJM0g 提取码：1tsf说明特别说明: 教程用的主机名分别为master,slave1,slave2 所以发现有出现主机名为 ” spark1”的主机名 等同于 “master”如果如果看见配置文件为spark1,一定要修改成master ;有些图片是后面添加的才出现主机名不一致但并不影响理解.没有特别说明操作都是在 master 机器操作关闭防火墙关闭Linux和Windows的防火墙...
数据是用scala语言，和java有些不同又比java强大，省去了很多繁琐的东西，scala中的的接口用trait来定义，不同于java的接口，trait中可以有抽象方法也可以有不抽象方法。scala中的方法中还可以定义方法，这在java中是从来没有的。大数据未来几年发展的重点方向，大数据战略已经在十八届五中全会上作为重点战略方向，中国在大数据方面才刚刚起步，但是在美国已经产生了上千亿的市场价值。举个例子，美国通用公司是一个生产飞机发动机...
区配置：1.查看时区 2 .修改时区3 安装mysql 下载MySQL数据脚本（如下有安装MySQL服务可以忽略） 下载然后解压；tar -zxvf azkaban-sql-script-2.5.0.tar.gz创建用户、分配权限并执行脚本 mysql –u root –pxxxx创建数据库: CREATE DATABASE azkaban;创建好数据库然后退出。然后将sql-script文件中的create-all-sql-2.5.0.sql中的数据表创建在刚创建好的azkaban 数据库当中。使用命令：mysql –u root –pxxxx -Dazkaban < /绝...
网联网、社交网络技术的发展给人们的生活带了很多方便，例如网上聊天、网上购物、视频和社交等成了我们生活的新常态，据最新统计数据显示，我国网民总数已达7.1亿。但是，互联网在给我们生活带来便利的同时，也存在个人隐私和信息安全的风险，这就要求我们在享受便利生活的同时，提高网络安全和个人网络信息的保护意识。今天我们来聊聊这方面的话题，首先给大家介绍一下个人信息泄露的几个主要途径，有哪些种类的软件和公司正在肆意...
1、大数据组件Yarn：大数据组件运行的job的管理器Spark：分布式的利用内存进行分布式运算的大数据组件Hbase：基于Hadoop的大数据常用数据库Hive：基于Hadoop的大数据数据仓库，操作和关系型数据库（MySQL）类似2、hdfs文件系统中NameNode和DataNode的区别和联系NameNode存储了元数据，并且调度，协调整个集群DataNode主要用来存储数据3、HDFS上传文件的流程① 由客户端 向 NameNode节点节点 发出请求;②NameNode 向Client返回可以可...
WCF可以帮助我们用来传输数据。但是有没有人遇到过需要大容量数据传输的需求呢？只要进行正确的设置就可以实现WCF传输大数据。在从客户端向WCF服务端传送较大数据（>65535B）的时候，发现程序直接从Reference的BeginInvoke跳到EndInvoke，没有进入服务端的Service实际逻辑中，怀疑是由于数据过大超出限定导致的。问题是我实际发送的数据是刚刚从WCF服务端接收过来的，一来一去，数据量差别并不大。然后发现，在客户端和服务端实际使...
早在17世纪80年代，英国科学家埃德蒙·哈雷凭借大量的数据绘制了世界上第一张载有海洋盛行风分布的气象图，以地图为依托，对信风的分布状况做了全球性的统计分析，并将分布状态生动的展现在世人面前，这也是有史可依的最早的气象数据可视化案例。 如今，气象数据可视化已经发展到了全新的时代。气象数据信息已经实现了以地图为载体的全面可视化展示，文字描述变成了辅助信息，图形可以一目了然的传达不同地理区划内各类气候历史资料...
写在最前：转行大数据领域，没报班，自学试试，能坚持下来以后就好好做这行，不能就……！准备从现有这套it18的视屏残本开始……自学是痛苦的，发博客和大家分享下学习成果——也是监督自己，督促自己坚持学下去。（教学视屏是it18做活动送的，视屏不是很全，课堂笔记和源码等课堂相关资料也未放出，但徐培成老师课讲的真心很好，感兴趣的不妨听听，特此感谢it18掌——帮他们打打广告）笔记为自学时记录，如有错误，欢迎指正，不胜...
声明本专栏为我的个人技术专栏，所有观点均为个人观点。如欲转载，请注明出处。大数据平台通过将所有数据整合起来，充分分析与挖掘数据的内在价值，为业务部门提供数据平台，数据产品与数据服务。大数据平台接入的数据中可能包括很多用户的隐私和敏感信息，如用户在酒店的入住纪录，用户支付信息等，这些数据存在可能泄漏的风险。大数据平台一般通过用户认证，权限管理以及数据加密等技术保证数据的安全，但是这并不能完全从技术上...
https://drill.apache.org/ 一 简介Drill is an Apache open-source SQL query engine for Big Data exploration. Drill is designed from the ground up to support high-performance analysis on the semi-structured and rapidly evolving data coming from modern Big Data applications, while still providing the familiarity and ecosystem of ANSI SQL, the industry-standard query language. Drill provides plug-and-p...
正常来讲学习大数据之前都要做到以下几点1.学习基础的编程语言(java,python)2.掌握入门编程基础（linux操作，数据库操作、git操作）3.学习大数据里面的各种框架（hadoop、hive、hbase、spark）这是正常学习大数据必须要做到的三个步骤，如果有了java基础再去学习基本上已经成功了一半，起码不用为了基础语言的学习而恼火了。真正的大数据的学习不能仅仅停留在理论的层面上，比如现在经常用到的spark框架目前支持两种语言的开发java...