python-PySpark：如何判断数据框的列类型

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python-PySpark：如何判断数据框的列类型，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1138字，纯文字阅读大概需要2分钟。

内容图文

假设我们有一个称为df的数据框.我知道有使用df.dtypes的方法.但是我喜欢类似的东西

type(123)== int#注意int不是字符串

我想知道是否有类似的东西：

type(df.select(< column_name>).collect()[0] [1])== IntegerType

基本上,我想知道从数据帧直接获取IntegerType,StringType之类的对象,然后对其进行判断的方法.

谢谢！

解决方法:

TL; DR使用外部数据类型(普通Python类型)测试值,使用内部数据类型(DataType子类)测试模式.

首先-您不应该使用

type(123) == int

检查处理继承的Python中类型的正确方法是

isinstance(123, int)

完成后,让我们来谈谈

Basically I want to know the way to directly get the object of the class like IntegerType, StringType from the dataframe and then judge it.

这不是它的工作方式.数据类型描述模式(内部表示)而不是值.外部类型是普通的Python对象,因此如果内部类型为IntegerType,则外部类型为int,依此类推,具体取决于Spark SQL Programming guide中定义的规则.

IntegerType(或其他DataTypes)实例存在的唯一位置是您的架构：

from pyspark.sql.types import *

df = spark.createDataFrame([(1, "foo")])

isinstance(df.schema["_1"].dataType, LongType)
# True
isinstance(df.schema["_2"].dataType, StringType)
# True

_1, _2 = df.first()

isinstance(_1, int)
# True
isinstance(_2, str)
# True

内容总结

以上是互联网集市为您收集整理的python-PySpark：如何判断数据框的列类型全部内容，希望文章能够帮你解决python-PySpark：如何判断数据框的列类型所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端