php – 将Parse JSON输出转换为具有大型数据集的CSV

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了php – 将Parse JSON输出转换为具有大型数据集的CSV，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1522字，纯文字阅读大概需要3分钟。

内容图文

Parse允许用户使用他们的导出工具下载他们的数据,但只允许以JSON格式导出数据.我想用CSV格式在Excel中进行分析.

虽然一个简单的脚本足以容纳较小的JSON对象,但我正在处理一个670,000行和超过360MB的数据集.联机转换器无法处理此文件大小,经常引用PHP已超出其内存限制.

我已经尝试过基于PHP CLI的脚本和在线转换器,但它们似乎都超出了他们分配的内存.我想我在ini_set(‘memory_limit’,’4096M’)时需要一种新方法;仍然没有给我足够的记忆.

我目前正在使用这个基于CLI的脚本来解析数据：

// flatten to CSV
function flatten2CSV($file){
    $fileIO = fopen($file, 'w+');
    foreach ($this->dataArray as $items) {
        $flatData = array();
        $fields = new RecursiveIteratorIterator(new RecursiveArrayIterator($items));
        foreach($fields as $value) {
            array_push($flatData, $value);
        }
        fputcsv($fileIO, $flatData, ";", '"');
    }
    fclose($fileIO);
}

// and $this->dataArray is created here
function readJSON($JSONdata){
    $this->dataArray = json_decode($JSONdata,1);
    $this->prependColumnNames();
    return $this->dataArray;
}

private function prependColumnNames(){
    foreach(array_keys($this->dataArray[0]) as $key){
        $keys[0][$key] = $key;
    }
    $this->dataArray = array_merge($keys, $this->dataArray);
}

如何解决PHP的内存管理问题并解析这个大型数据集？对于大型数据集,是否有更好的方法来读取JSON对象而不是json_decode？

解决方法:

如果您能够在浏览器中运行脚本,请查看PapaParse JavaScript库 – 它支持更大数据集的分块和多线程,并且可以转换为JSON to CSV.

可能相关的具体config options：

>工人
>块
> fastMode

或者,Node.js有一个fork of PapaParse,但没有worker和chunk选项.

我与此库没有任何关联,但已成功用于大型数据集上的CSV到JSON转换.

内容总结

以上是互联网集市为您收集整理的php – 将Parse JSON输出转换为具有大型数据集的CSV全部内容，希望文章能够帮你解决php – 将Parse JSON输出转换为具有大型数据集的CSV所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---