首页 / PYTHON / spark能跑Python么
spark能跑Python么
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了spark能跑Python么,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1307字,纯文字阅读大概需要2分钟。
内容图文
![spark能跑Python么](/upload/InfoBanner/zyjiaocheng/425/52450fa063e942fabb92347ffd35542e.jpg)
spark能跑Python么?
spark是可以跑Python程序的。python编写好的算法,或者扩展库的,比如sklearn都可以在spark上跑。直接使用spark的mllib也是可以的,大部分算法都有。
Spark 是一个通用引擎,可用它来完成各种各样的运算,包括 SQL 查询、文本处理、机器学习等。
本次实验是搭有spark环境的linux下跑的,spark版本为1.6.1,相当于在在spark本地执行,spark文件放在/opt/moudles/spark-1.6.1/(代码中会看到)
编写python测试程序
#test.py文件 # -*- coding:utf-8 -*- import os import sys #配置环境变量并导入pyspark os.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1' sys.path.append("/opt/moudles/spark-1.6.1/python") sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip") from pyspark import SparkContext, SparkConf appName ="spark_1" #应用程序名称 master= "spark://hadoop01:7077"#hadoop01为主节点hostname,请换成自己的主节点主机名称 conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) data = [1, 2, 3, 4, 5] distData = sc.parallelize(data) res = distData.reduce(lambda a, b: a + b) print("===========================================") print (res) print("===========================================")
执行python程序
执行如下命令
python test.py
执行与结果分别如下图所示:
以上就是spark能跑Python么的详细内容,更多请关注Gxl网其它相关文章!
内容总结
以上是互联网集市为您收集整理的spark能跑Python么全部内容,希望文章能够帮你解决spark能跑Python么所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。