首页 / 更多教程 / zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL

zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1900字，纯文字阅读大概需要3分钟。

内容图文

zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL

版本

hadoop 2.6，scala2.11.0

spark2.1.1 选择pre-build for hadoop 2.6下载（spark-2.1.1-bin-hadoop2.6)

集群环境

三台主机，安装好hadoop+spark环境，spark standalone模式,自行安装

zeppelin安装（centos6.5）

下载zeppelin-0.8.0-bin-all.tgz,

解压 tar zxvf zeppelin-0.8.0-bin-all.tgz

进入解压后的目录，进入到conf文件夹下

cd zeppelin-0.8.0-bin-all/conf

先复制模板文件shiro.iro.template，zeppelin-env.sh.template,zeppelin-site.xml.template

zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL - 文章图片修改zeppelin-site.xml中的端口号和是否允许匿名登录，我将zeppelin.server.port由8080改为8098,允许匿名登录改为false。

zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL - 文章图片

zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL - 文章图片

在zeppelin-env.sh配置spark环境等

zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL - 文章图片

在shiro.ini中配置用户名，密码，角色，找到[Users]

zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL - 文章图片

zeppelin运行注意

运行前替换lib包下的部分包

先看spark 2.11的jars下的包，

zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL - 文章图片

未替换前lib下是commons-lang3-3.4.jar，jackson-annotations-2.8.0.jar，jackson-core-2.8.10.jar，jackson-databind-2.8.11.1.jar，netty-all-4.0.23.Final.jar，

将lib下上述的包删除，切记lib包下的guava-20.0.jar不可以删

将spark的jars下如图片紫色所示的包复制到zeppelin-0.8.0-bin-all/lib下

zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL - 文章图片

替换后，运行zeppelin

在Interpreter下修改spark解释器设置，将master改为spark://ip:7077

spark RDD没有问题，sql没有问题

zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL - 文章图片

sparkSession操作没有问题

zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL - 文章图片

很多问题都是jar包的问

hadoop安全模式下，对HDFS进行上传，修改，删除等操作会报错

解决：每台机子执行hdfs dfsadmin -safemode leave

在此之前，遇到多很多错

java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:312)

org.apache.spark.SparkException: Job aborted due to stage failure: Task 1 in stage 11.0 failed 4 times, most recent failure: Lost task 1.3 in stage 11.0 (TID 639, slave-04, executor 2): java.io.InvalidClassException: org.apache.commons.lang3.time.FastDateParser; local class incompatible: stream classdesc serialVersionUID = 2, local class serialVersionUID

查看日志还有netty IO相关的错，大多数错都是jar包问题

内容总结

以上是互联网集市为您收集整理的zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL全部内容，希望文章能够帮你解决zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/911826.html

来源：【匿名】

【上一篇】极客时间-左耳听风-程序员攻略-数据库【下一篇】关于IE的RegExp.exec的问题

更多 ►

【zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL】教程文章相关的互联网学习教程文章

如何在使用yum时修复“错误的解释器”错误？【代码】

$yum install httpd-devel -bash: /usr/bin/yum: /usr/bin/python: bad interpreter: No such file or directory我怎样才能解决这个问题？解决方法:任何bash,Perl或Python脚本的第一行都告诉bash在哪里可以找到正确的解释器.对于百胜,它是：#!/usr/bin/python您可以通过键入以下内容来确定实际安装Python的位置which python解决此问题的最佳方法是添加符号链接.例如：ln -s /usr/local/bin/python /usr/bin/python这样您就不必在每...

zeppelin-0.8.0-bin-all结合spark解释器，使用RDD,spark SQL【图】

版本 hadoop 2.6，scala2.11.0 spark2.1.1 选择pre-build for hadoop 2.6下载（spark-2.1.1-bin-hadoop2.6) 集群环境三台主机，安装好hadoop+spark环境，spark standalone模式,自行安装 zeppelin安装（centos6.5）下载zeppelin-0.8.0-bin-all.tgz, 解压 tar zxvf zeppelin-0.8.0-bin-all.tgz 进入解压后的目录，进入到conf文件夹下 cd zeppelin-0.8.0-bin-all/conf 先复制模板文件shiro.iro.template，zeppelin-env.sh.template...

10 并发编程-(线程)-GIL全局解释器锁&死锁与递归锁【代码】【图】

一、GIL全局解释器锁 1、引子在Cpython解释器中，同一个进程下开启的多线程，同一时刻只能有一个线程执行，无法利用多核优势首先需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(CPython)时所引入的一个概念。就好比C++是一套语言（语法）标准，但是可以用不同的编译器来编译成可执行代码。>有名的编译器例如GCC，INTEL C++，Visual C++等。Python也一样，同样一段代码可以通过CPython，PyPy，Psyco等不同的Pyt...

王垠：怎样写一个解释器【代码】

卖了好久关子了，说要写一个程序语言理论的入门读物，可是一直没有下笔。终于狠下心来兑现一部分承诺。今天就从解释器讲起吧。解释器是比较深入的内容。虽然我试图从最基本的原理讲起，尽量让这篇文章不依赖于其它的知识，但是这篇教程并不是针对函数式编程的入门，所以我假设你已经学会了最基本的 Scheme 和函数式编程。如果你完全不了解这些，可以读一下《 SICP | 计算机程序的构造和解释》的第一，二章。当然你也可以继续读...

第三节：解释器模式——在Spring框架应用的源码剖析【代码】【图】

一、解释器模式在Spring框架应用的源码剖析1、Spring 框架中 SpelExpressionParser 就使用解释器模式 1 public class Interpreter {2 public static void main(String[] args) {3 //创建一个 Parser 对象4 SpelExpressionParser parser = new SpelExpressionParser();5 //6 //通过 Parser 对象获取到一个Expression对象7 //会根据不同的 Parser 对象，返回不同的 Expression对象8 ...

并发编程（线程）——前言理论，开启线程的两种方式，线程对象join方法，同一个进程下的多个线程数据共享，线程对象及其他方法，守护线程，线程互斥锁，GIL全局解释器锁理论【代码】

一、线程理论计算机相当于大工厂，工厂里有一个个的车间（进程），有很多人（线程）干不同的事真正干活的是线程--》线程是cup调度的最小单位进程是资源分配的最小单位，线程是CPU调度的最小单位。每一个进程中至少有一个线程线程开销更小，更轻量级二、开启线程的两种方式1、函数式#第一种from threading import Thread import timedef task():print(‘开始‘)time.sleep(1)print(‘结束‘)if__name__ == ‘__main__‘:t=Thread(ta...

第2章 Shell解释器

第2章　　Shell解释器（1）Linux提供的Shell解释器有： [root@localhost ~]# cat /etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash/bin/tcsh/bin/csh （2）bash和sh的关系 [root@localhost ~]# ll /bin/shlrwxrwxrwx. 1 root root 4 5月 15 19:42 /bin/sh -> bash （3）CentOS默认的解释器是bash [root@localhost ~]# echo $SHELL/bin/bash

更多教程 - 最新教程

适配器模式 FTP文件传输协议介绍和常用命令 shell 命令之bind,enable,ulimit 面向对象（类的概念，属性，方法，属性...数据库结构设计 SQL 中的 in 与 not in、exists 与 not...SQL常用代码 gRpc 空参数 Bzoj4556 [Tjoi2016&Heoi2016]字符串 GrideVlew提供点击按钮添加新数据，单击...

更多教程 - 最热教程

Mybatis中使用dao实现类的执行过程分析...WPF——绑定数据库数据(Listview)谷歌浏览器cookie设置开启方法介绍 SQL查询和删除重复字段数据的方法微信小程序开发之 vant-wapp填坑 (SpringBoot)小程序图片上传Demo（附小...win32api 中 CopyFile、FindFiles、Get...【看懂执行计划】基于成本的优化器（CB...QT 4.8.5 在 VxWorks 6.8/6.9 系统下的...关于Hexo博客NEXT主题(Gmini)站点图标不...