2020寒假 学习进度笔记5:IntelliJ IDEA安装配置及编写spark应用程序(scala+maven)
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了2020寒假 学习进度笔记5:IntelliJ IDEA安装配置及编写spark应用程序(scala+maven),小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含3824字,纯文字阅读大概需要6分钟。
内容图文
教程:http://dblab.xmu.edu.cn/blog/1327
安装IntelliJ IDEA
官网:https://www.jetbrains.com/idea/download/#section=linux
cd ~/下载 sudo tar -zxvf ideaIC-2019.3.2.tar.gz sudo mv idea-IC-193.6015.39 /usr/local/Intellij
打开程序
cd /usr/local/Intellij/bin
./idea.sh
弹出以下界面
在IntelliJ IDEA里安装scala插件
可以看到它已经自动安装了
配置JDK
配置全局scala sdk
右键刚添加的SDK
创建maven工程文件
maven -> next
填写Name、Location、Groupld、ArtifactId -> finish
将scala框架添加到项目
在启动后进入的项目中,点击Project,就可以看到名称为WordCount的工程。
右键工程名称WordCount
勾选scala
运行
在src下新建WordCount文件夹
右键新建的文件夹
右键WordCount文件夹,新建scala slass
命名为WordCount,object类型
打开WordCount.scala,清空并粘贴代码
import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object WordCount { def main(args: Array[String]) { val inputFile = "file:///usr/local/spark/mycode/wordcount/word.txt" val conf = new SparkConf().setAppName("WordCount").setMaster("local") val sc = new SparkContext(conf) val textFile = sc.textFile(inputFile) val wordCount = textFile.flatMap(line => line.split("")).map(word => (word, 1)).reduceByKey((a, b) => a + b) wordCount.foreach(println) } }
清空pom.xml并粘贴代码
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>dblab</groupId> <artifactId>WordCount</artifactId> <version>1.0-SNAPSHOT</version> <properties> <spark.version>2.1.0</spark.version> <scala.version>2.11</scala.version> </properties> <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_${scala.version}</artifactId> <version>${spark.version}</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_${scala.version}</artifactId> <version>${spark.version}</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_${scala.version}</artifactId> <version>${spark.version}</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_${scala.version}</artifactId> <version>${spark.version}</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_${scala.version}</artifactId> <version>${spark.version}</version> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <version>2.15.2</version> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> </plugin> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.0</version> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-plugin</artifactId> <version>2.19</version> <configuration> <skip>true</skip> </configuration> </plugin> </plugins> </build> </project>
右键WordCount工程文件夹
点击右下角的Enable Auto-import
等待底部进度条
……
原文:https://www.cnblogs.com/gothic-death/p/12253972.html
内容总结
以上是互联网集市为您收集整理的2020寒假 学习进度笔记5:IntelliJ IDEA安装配置及编写spark应用程序(scala+maven)全部内容,希望文章能够帮你解决2020寒假 学习进度笔记5:IntelliJ IDEA安装配置及编写spark应用程序(scala+maven)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。