首页 / JSON / 把HDFS里的json数据转换成csv格式

把HDFS里的json数据转换成csv格式

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了把HDFS里的json数据转换成csv格式，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1158字，纯文字阅读大概需要2分钟。

内容图文

 

1. 全景图

 技术分享

 .

2. 用ListHDFS获取所有文件名

技术分享

 

3. 用FetchHDFS 取出json 数据

技术分享

 

4. 用ExecuteScript 转换

技术分享

import org.apache.commons.io.IOUtils
import java.nio.charset.*
import java.text.SimpleDateFormat
import groovy.json.*

def flowFile = session.get()

flowFile = session.write(flowFile, {inputStream, outputStream ->

def js = IOUtils.toString(inputStream, StandardCharsets.UTF_8)
def data = new JsonSlurper().parseText( js )
def columns = data.data*.keySet().flatten().unique()

// Wrap strings in double quotes, and remove nulls
def encode = { e -> e == null ? ‘‘ : e instanceof String ? /"$e"/ : "$e" }

// Print all the column names
def columnName = columns.collect { c -> encode( c ) }.join( ‘,‘ )

// Then create all the rows
def columnData = data.data.collect { row ->
// A row at a time
columns.collect { colName -> encode( row[ colName ] ) }.join( ‘,‘ )
}.join( ‘\n‘ )

StringBuilder cd = new StringBuilder()
cd.append(columnName + "\n")
cd.append(columnData)

outputStream.write(cd.toString().getBytes(StandardCharsets.UTF_8))
}as StreamCallback)

session.transfer(flowFile, REL_SUCCESS)

 

5. 用PutHDFS 插入

技术分享

原文：http://www.cnblogs.com/fengwenit/p/5598606.html

内容总结

以上是互联网集市为您收集整理的把HDFS里的json数据转换成csv格式全部内容，希望文章能够帮你解决把HDFS里的json数据转换成csv格式所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1077714.html

来源：【匿名】