首页 / PYTHON / python – spark-submit和pyspark有什么区别？

python – spark-submit和pyspark有什么区别？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – spark-submit和pyspark有什么区别？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1394字，纯文字阅读大概需要2分钟。

内容图文

如果我启动pyspark然后运行此命令：

import my_script; spark = my_script.Sparker(sc); spark.collapse('./data/')

一切都很好.但是,如果我尝试通过命令行和spark-submit执行相同的操作,则会收到错误消息：

Command: /usr/local/spark/bin/spark-submit my_script.py collapse ./data/
  File "/usr/local/spark/python/pyspark/rdd.py", line 352, in func
    return f(iterator)
  File "/usr/local/spark/python/pyspark/rdd.py", line 1576, in combineLocally
    merger.mergeValues(iterator)
  File "/usr/local/spark/python/pyspark/shuffle.py", line 245, in mergeValues
    for k, v in iterator:
  File "/.../my_script.py", line 173, in _json_args_to_arr
    js = cls._json(line)
RuntimeError: uninitialized staticmethod object

my_script：

...
if __name__ == "__main__":
    args = sys.argv[1:]
    if args[0] == 'collapse':
        directory = args[1]
        from pyspark import SparkContext
        sc = SparkContext(appName="Collapse")
        spark = Sparker(sc)
        spark.collapse(directory)
        sc.stop()

为什么会这样？运行pyspark和运行spark-submit会导致这种分歧有什么区别？我怎样才能在spark-submit中完成这项工作？

编辑：我尝试通过执行pyspark my_script.py collapse ./data/从bash shell运行它,我得到了同样的错误.一切正常的唯一时间是我在python shell中并导入脚本.

解决方法:

>如果您构建了一个spark应用程序,则需要使用spark-submit来运行该应用程序

>代码可以用python / scala编写
>模式可以是本地/集群

>如果您只想测试/运行几个单独的命令,则可以使用spark提供的shell

> pyspark(用于python中的spark)
>火花壳(用于scala中的火花)

内容总结

以上是互联网集市为您收集整理的python – spark-submit和pyspark有什么区别？全部内容，希望文章能够帮你解决python – spark-submit和pyspark有什么区别？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/710984.html

来源：【匿名】