大数据作为一个新兴的热门行业，吸引了很多人，但是对于大数据新手来说，按照什么路线去学习，才能够学习好大数据，实现从大数据菜鸟到高手的转变。这是很多想要学习大数据的朋友们想要了解的。 今天我们就来和大家分享下大数据新手从0开始学习大数据，实现菜鸟到高手的转变的学习路线。希望能够帮助想要学习大数据的朋友。如果你想要学好大数据最好加入一个好的学习环境，可以来这个Q群529867072 这样大家学习的话就比较方便，还能...
大数据已经火了很久了，一直想了解它学习它结果没时间，过年后终于有时间了，了解了一些资料，结合我自己的情况，初步整理了一个学习路线，有问题的希望大神指点。学习路线Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Storm,kafka,redis)Spark(scala,spark,spark core,spark sql,spark streaming,spark mllib,spark graphx)Python(python,sp...
http://blog.csdn.net/yuexianchang/article/details/52468291 1.Linux基础和分布式集群技术学完此阶段可掌握的核心能力： 熟练使用linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构； 学完此阶段可解决的现实问题： 搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务； 学完此阶段可拥有的市场价值： 具备初级程序员必要具备的L...
大数据学习路线及各阶段学习书籍推荐！废话不多说，直接切入主题，有需要的小伙伴可以参考学习！阶段一、大数据基础——java语言基础方面（1）Java语言基础Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类（2） HTML、CSS与JavaScriptPC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生JavaScript交互功能开发、A...
好程序员大数据学习路线Hadoop学习干货分享，Apache Hadoop 为可靠的，可扩展的分布式计算开发开源软件。Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。包括这些模块： Hadoop Common：支持其他Hadoop模块的常用工具。 Hadoop分布式文件系统（HDFS?）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。 Hadoop YARN：作业调度和集群资源管理的框架。 Hadoop...
好程序员大数据学习路线分享Scala系列之泛型，带有一个或多个类型参数的类是泛型的。 泛型类的定义： //带有类型参数A的类定义class Stack[A] {private var elements: List[A] = Nil//泛型方法def push(x: A) { elements = x :: elements }def peek: A = elements.headdef pop(): A = {val currentTop = peekelements = elements.tailcurrentTop}} 泛型类的使用，用具体的类型代替类型参数A。 val stack = new Stack[Int]stack.pus...
好程序员大数据学习路线为大家分享Scala系列之对象1. 单例对象在Scala中没有静态方法和静态字段，但是可以使用object这个语法结构来达到同样的目的1.scala类似于Java中的工具类，可以用来存放工具函数和常量2.高效共享单个不可变的实例3.单例模式单例对象虽然类似于Java中的工具类，但它不是，还是一个对象，可以把单例对象名看做一个贴在对象上的标签。package logging//使用关键字object定义单例对象object Logger { def info(...
好程序员大数据学习路线分享Scala分支和循环3.3. 条件表达式表达式：一个具有执行结果的代码块。结果是具体的值或者（） 表达式的思考方式：以表达式为中心的编程思想 1.表达式和语句的区别：表达式有返回值，语句被执行。表达式一般是一个语句块，执行后，返回一个值 2.不使用return语句，最后一个表达式即返回值 if/else表达式有值，这个值就是跟在if或者else之后的表达式的值 object ConditionDemo {def main(args: Array[Strin...
1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件，这时就是HDSF分布式系统所获取的一个对象 2.FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置，对于每一个block,NameNode返回一个含有Block的元数据信息，接下来DataNode按照上面定义的距离(offSet偏移量)进行排序,如果Client本身即是一个DataNode,那么就会优先从本地DataNode节点读取数据. HDFS完成上面的工作之后返回一个FSDatalnputS...
好程序员大数据学习路线分享hive分区和分桶，hive分区 1.为什么要分区？？ 当单个表数据量越来越大的时候，hive查询通常会全表扫描，这将会浪费我们不关心数据的扫描，浪费大量时间。从而hive引出分区概念partition 2.怎么分区？？ 看具体业务，能把一堆数据拆分成多个堆的数据就可以。 通常使用id 、 年 、 月 、天 、区域 、省份、 hive分区和mysql分区的区别？？ mysql的分区字段采用的表内字段。 hive的分区字段使用的是表外字...
好程序员大数据学习路线分享hive分区和分桶，hive分区1.为什么要分区？？当单个表数据量越来越大的时候，hive查询通常会全表扫描，这将会浪费我们不关心数据的扫描，浪费大量时间。从而hive引出分区概念partition2.怎么分区？？看具体业务，能把一堆数据拆分成多个堆的数据就可以。 通常使用id 、 年 、 月 、天 、区域 、省份、 hive分区和mysql分区的区别？？ mysql的分区字段采用的表内字段。 hive的分区字段使用的是表外字段。...
好程序员大数据学习路线分享Actor学习笔记，在scala中她能实现很强大的功能,他是基于并发机制的一个事件模型我们现在学的scala2.10.x版本就是之前的Actor 同步:在主程序上排队执行的任务,只有前一个任务执行完毕后,才能执行下一个任务异步:指不进入主程序,而进入"任务对列"的任务,只有等主程序任务执行完毕,"任务对列"开始请求主程序,请求任务执行,该任务会进入主程序 java共享变量 -- 加锁会出现锁死问题 scalaActor不共享数据没有...
好程序员大数据学习路线hive内部函数，持续为大家更新了大数据学习路线，希望对正在学习大数据的小伙伴有所帮助。1、取随机数函数：rand()语法: rand(),rand(int seed) 返回值: double 说明: 返回一个0到1范围内的随机数。如果指定seed，则会得到一个稳定的随机数序列select rand();select rand(10);2、分割字符串函数:split(str,splitor) 语法: split(string str, string pat) 返回值: array 说明: 按照pat字符串分割str，会返回分...
好程序员大数据学习路线分享hive的运行方式，hive的属性设置： 1、在cli端设置 (只针对当前的session) 3、在java代码中设置 (当前连接) 2、在配置文件中设置 (所有session有效) 设置属性的优先级依次降低。 cli端只能设置非hive启动需要的属性。(log属性,元数据连接属性) 查找所有属性： hive>set; 查看当前属性的值：通常是hadoop hive> set -v; 模糊查找属性： hive -S -e "set" | grep current; hive -S -e "set" | grep index;...
好程序员大数据学习路线之hive表的查询 1.join 查询 1、永远是小结果集驱动大结果集(小表驱动大表，小表放在左表)。 2、尽量不要使用join，但是join是难以避免的。 left join 、 left outer join 、 left semi join(左半开连接，只显示左表信息) hive在0.8版本以后开始支持left join left join 和 left outer join 效果差不多 hive的join中的on只能跟等值连接 "=",不能跟< >= <= != join:不加where过滤，叫笛...