首页 / SCALA / 《OD学spark》20160924scala基础

《OD学spark》20160924scala基础

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了《OD学spark》20160924scala基础，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1621字，纯文字阅读大概需要3分钟。

内容图文

拓展：

Hadoop 3.0

NameNode HA

NameNode是Active

NameNode是Standby可以有多个

HBase

Cluster

单节点故障？

HBaster -> BackMaster

HRegionServer

WEBUI 60010

Spark 课程安排
分为两个部分：
第一部分：基础篇
SCALA：1天
SparkCore：2天 - MapReduce
SparkSQL：1天 - Hive Shark = Hive on Spark
关键，企业中必用的，必须掌握
SparkStreaming：1天 - Storm
DStream
企业实时数据统计分析
Spark 2.0
StructureStreaming
第二部分：项目篇
基于Spark交互式用户行为分析系统
三天
额外扩展：
Spark MLlib学习 1天

Spark：
加州大学伯克利分校AMPLab
AMP
A：算法
M：机器
P：人类

=============================================================
1、为什么学习SCALA
-1，Spark框架SCALA编程、Kafka
源码
-2，Spark编程
SCALA、Python、JAVA、R
细心：
Spark官方文档、讲义，Spark编程代码都是Python语言

databrick
金砖

JAVA
C阵营（C、C#、C++）
Python - Spark
火的

函数
没有放在类中
方法
放在类中

隐式转换
"偷龙转凤"

大数据框架，”helloworld"程序就WordCount
hadoop -> (hadoop, 1) -> (hadoop, list(11,1,1)) -> (hadoop, 14)

rdd.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
-1,
line.toString().split(" ")

==========================================================
Spark 1.x
Scala 2.10.x 4
Spark 2.x
Scala 2.11.x 8

Scala 语言
交互式编程语言，Shell类似，交互式命令行
正是由于提供交互式命令行，所以使得Spark程序开发、测试，很方便

对于Scala语言来说，IDE工具
The Scala IDE (based on Eclipse),
支持不是很好，提示，编译语法
IntelliJ IDEA with the Scala plugin,
最多，支持很好
NetBeans IDE with the Scala plugin.

DELIMITED FIELDS TERMINATED BY ‘\t‘

DELIMITED FIELDS TERMINATED BY char [ESCAPED BY char]]

T => U
表示函数
确定一个方法的两个标准
-1,参数
个数、类型
-2,返回值
(Int, Int) => Int

def map(f: T => U): RDD ={

}

在JAVA中，循环来说，通常有两个关键字
break
跳出整个循环
continue
跳出当前的循环

回顾一下：
JAVA中的FOR循环
for(int index = 1 ; index ++ ; index <= 10){
println(index)
}

for(index <- 1 to 10){
println(index)
}

apply()方法

原文：http://www.cnblogs.com/yeahwell/p/5904967.html

内容总结

以上是互联网集市为您收集整理的《OD学spark》20160924scala基础全部内容，希望文章能够帮你解决《OD学spark》20160924scala基础所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1267127.html

来源：【匿名】

【上一篇】win7 下面如何搭建Scala ——Eclipse开发环境【下一篇】php中is_scalar如何判断变量是否是一个标量

更多 ►

【《OD学spark》20160924scala基础】教程文章相关的互联网学习教程文章

scala函数式编程（二） scala基础语法介绍【代码】【图】

上次我们介绍了函数式编程的好处，并使用scala写了一个小小的例子帮助大家理解，从这里开始我将真正开始介绍scala编程的一些内容。这里会先重点介绍scala的一些语法。当然，这里是假设你有一些java或者python的基础，毕竟大部分人不会将scala当作第一门学习编程的语言。不过这些语法知识记不住也没关系，本身语法这种东西就应该在使用中被记住。这里写这篇的目的也只是梳理一遍，方便大家对语法有个初步的印象，后面可以随时查询。...

scala01-2021.7.7-基础篇【代码】

安装：想安装scala 需要先安装JDK8或者11在下载对应的scala版本。然后配置环境变量如果报错就调低scala版本。在idea中安装scala插件，最后添加框架支持。1.class和objectpackage chapter01object HelloWorld {def main(args: Array[String]): Unit = {println("hello world")System.out.println("hello scala from java")} }scala中没有static 所以用object（全局唯一）代替static ，class作用与java相同创建一个类；原文：htt...

Scala实战高手****第7课：零基础实战Scala面向对象编程及Spark源码解析

/** * 如果有这些语法的支持，我们说这门语言是支持面向对象的语言 * 其实真正面向对象的精髓是不是封装、继承、多态呢？ * --->肯定不是，封装、继承、多态，只不过是支撑面向对象的 * 一些语言级别的语法和功能，真正的面向对象其实有三个核心特征： * 第一：对象不用关心消息从哪里来，也不关心消息到哪去，只关心消息处理本身 * ，也就是说面向对象是弱耦合的且对象是消息驱动的，或者说对象是数据驱动的 * 第二：一个对象的行...

《OD学spark》20160924scala基础

拓展：Hadoop 3.0NameNode HANameNode是ActiveNameNode是Standby可以有多个HBaseCluster单节点故障？HBaster -> BackMasterHRegionServerWEBUI 60010 Spark 课程安排分为两个部分：第一部分：基础篇 SCALA：1天 SparkCore：2天 - MapReduce SparkSQL：1天 - Hive Shark = Hive on Spark 关键，企业中必用的，必须掌握 SparkStreaming：1天 - Storm DStream 企业实时数据统计分析 Spark 2.0 StructureStreamin...

Scala2.11.7学习笔记(五）类和对象基础知识【代码】

特质 Scala的trait 和Java 的Interface相比，可以有方法的实现。Scala的Trait支持类和Singleton对象和多个Trait混合（使用来自这些Trait中的方法，而不时不违反单一继承的原则）。 Scala为Singleton对象的main定义了一个App trait类型，因此上面的例子可以简化为：HelloWorld.scala object HelloWorld extends App { println("Hello World!"); } 这段代码就不能作为脚本运行，Scala的脚本要求代码最后以表达式结束。...

Scala 基础（一）：各平台安装【图】

一、win7环境安装1.安装jdk直接双击，安装到想要的环境目录2.修改环境变量2.1新建系统变量 JAVA_HOME 输入jdk安装目录 2.2 修改PATH修改PATH：%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;2.3 新建classpath将变量值修改为：.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar3.安装ScalaWindows scala一键安装包：链接：https://pan.baidu.com/s/1KKoDw1uotDe1tXwADo2fYg提取码：zv9e双击后会自动配置环境变量安装window环境完成，注销或者重...

scala基础&函数【代码】

基础的scala语法和函数package com.yjm.scalaobject Person {def main(args: Array[String]): Unit = {}var age = 20if (age > 20) {println("可以观看欧美")} elseif (age > 18) {println("可以看国产")} else {println("禁止观看")}var count = 1while (count < 102) {println("第" + count + "次迟到")count += 1}do {count -= 1println("第" + count + "次迟到")} while (count > 1)println(1 to 10)println(1.to(10, 2)) //步...

Scala基础：面向对象——类【图】

类 (class)类是对象的模板，通过构造类，能够使用new关键字声明一系列同结构的对象。Scala的一个源文件可以包含多个public类。声明Person类：class Person{ var name : String = _ val age = 10 private[this] val gender = “male”}说明：name字段被赋值为“_”“_”即占位符。表示name被声明为String。但赋值为“_”，即暂不赋实际的值。若使用占位符，Scala无法判断name的类型，所以必须声明该字段的类型。gender 在Person中...

Scala学习笔记一之基础语法，条件控制，循环控制，函数，数组，集合【代码】

前言：Scala的安装教程：http://www.cnblogs.com/biehongli/p/8065679.html1：Scala之基础语法学习笔记：1:声明val变量:可以使用val来声明变量，用来存放表达式的计算结果，但是常量声明后是无法改变它的值的，建议使用val来声明常量；声明var变量:如果要声明可以改变的引用，可以使用var变量，声明的常量的值可以改变。 3:指定类型:无论声明val变量还是声明var变量。都可以手动指定其类型，如果不指定，scala会自动根据值，进行类...

Scala基础语法介绍【代码】【图】

1.变量的定义注意：在scala中没有static的概念，在object这个关键字修饰的类中所有的方法和属性都是static的。这里的object类叫做伴生类，目前不涉及。例：object Test01{def main(args: Array[String]): Unit = {//使用val定义的变量是不可变的，相当于java中的final修饰的val v1=1//使用var定义的变量的值是可变的，在scala中鼓励使用的是valvar v2=2//在定义变量的时候，也可以在变量名前提供类型，如何不提供默认的是类型推断...

scala基础【代码】【图】

Scala的简介大数据中使用Scala编写的两大框架就是kafka和Spark1. 官方网站：https://www.scala-lang.org/2.特点1.即是面向对象编程又是编写函数编程（函数可以独立于对象独自存在，不必非要在对象中）2.和Java一样是运行在JVM之上的高级语言（.scala文件进行编译===》.class文件===》运行在JVM上）3.scala版本不兼容性（各个版本之间是不兼容的：2.11.x 2.10.x 2.9.x 各个版本之间不兼容）4.交互式命令行：可以像Python那样在Linux...

Scala基础之抽象【代码】

抽象类，方法，属性（不完整）Scala将一个不完整的类称之为抽象类abstract class Person { } Scala中一个方法只有声明而没有实现，那么是抽象方法// 子类重写父类的抽象方法，直接补充完整即可// 子类重写父类的完整方法，必须添加override关键字// 开发时，推荐，只要重写，都添加overrideabstract class User { def test(): Unit = { } def fun():Unit}class Child extends User { override def test(): Unit = { ...

跟我学scala（一）基础、控制结构和函数

平时使用Spark比较多，但是对于scala的学习只限于看过书、能写代码，从来没有系统的学习过。此次看《快学scala》，做读书笔记，算是从头学习一下。《快学scala》pdf书百度云地址：https://pan.baidu.com/s/1Bv-k08wffXpnkzCymnYe8w一：基础变量和常量　　val age = 10; //生成一个常量，推荐使用常量，缺点不可变　　var name,classId = "100"; //生成两个变量name，classid 同时赋值为100　　val name,classId :String =...

scala的基础概念

scala方法的定义：def methed(参数：类型..) ：返回类型 = {}：非递归返回类型可以省略返回类型；返回类型是Unit时，可以省略=；函数的定义：val f：类型=>类型 = {参数=>返回}；val f = (参数列表) => {实现}：函数可以作为方法的参数；方法（利用了_转换成函数了）也可以作为方法的参数；数组：Array[数组类型](数据)Array(Apply)；new定长数组、变长数组ArrayBuffer；访问；+=、++=、-=、insert(位置,数据)、remove(位置，数据...

Scala基础【代码】

package scalaobject Demo02Base { def main(args: Array[String]): Unit = { /** * 语法基础 * */ // 变量 // 类型推断，自动根据等号右边推断变量的类型 var s = "1" //手动增加类型 var i: Int = 1 /** * * var ：变量,可以在指向其它的对象 * val ：常量，不能再指向其它的对象 * * 尽量使用val * */ var j = 1 j = 100 val k = "asdas...

首页 / SCALA / 《OD学spark》20160924scala基础

《OD学spark》20160924scala基础

内容导读

内容图文

内容总结

内容备注

内容手机端

【《OD学spark》20160924scala基础】教程文章相关的互联网学习教程文章

SCALA - 相关标签

基础 - 相关标签

SCALA - 技术教程分类

SCALA - 最新教程

SCALA - 最热教程