首页 / MYSQL / 使用DataX将.csv文件的数据读入Mysql数据库

使用DataX将.csv文件的数据读入Mysql数据库

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了使用DataX将.csv文件的数据读入Mysql数据库，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1770字，纯文字阅读大概需要3分钟。

内容图文

一：DataX下载

下载页面地址：https://pan.baidu.com/s/10J83j25_ohC4O3XHl9diDQ

提取码: cq6n 

二：安装

将下载后的压缩包直接解压安装到电脑上就可以了

 三：测试

要想运行datax先要安装python环境：

检验是否存在python环境在cmd中输入python就会知道如果已经有python环境就如下所示出现版本等信息；

技术分享图片

 

 

进入安装好的datax目录下bin目录中，里面有datax.py文件，可以在cmd中测试（此处是我自己的目录，具体根据自己的目录来输入命令）：

python E:\大数据清洗工具\DataX\datax\bin\datax.py E:\大数据清洗工具\DataX\datax\job\job.json

技术分享图片

 

 技术分享图片

下面是成功截图

 

技术分享图片

 

 

 

 

以上运行结果乱码：在命令行输入：

       CHCP  65001

 另外，如果你的python版本是3.x的话，则需要修改一下bin文件夹下的三个.py文件，参考链接地址为：https://github.com/HxYyWw/DatatX_python3/tree/master

四：应用（csv文件写入mysql）

 csv文件

技术分享图片

 

 数据库建表

技术分享图片

 

 test.json文件

                        {
    
                        "
                        job
                        "
                        : {
        
                        "
                        setting
                        "
                        : {
            
                        "
                        speed
                        "
                        : {
                
                        "
                        channel
                        ": 3
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "txtfilereader",
                    "parameter": {
                        "path":["C:/Users/ASUS/Desktop/test.csv"],
                        "encode":"gbk",
                        "column" : [
                            {
                                "index":0,
                                "type":"string"
                            },{
                                        "index":1,
                                "type":"string"
                            }
                        ],
                        "fieldDelimiter":","
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "995893",
                        "column": [
                            "name",
                            "value"
                        ],
                        "preSql": [
                            "truncate table datax"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8",
                                "table": [
                                    "datax"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

其中test.json文件主要的两部分：reader和writer两部分。

　　　　1，reader解读

　　　　　　“name”属性对应着读取对象的类型

　　　　　　“parameter”中path属性对应读取对象的路径、encode属性对应读取对象的编码、column属性对应读取对象的表头（其中index属性对应表头的字段顺序，type对应字段的类型）、filedDelimiter属性对应读取对象的分隔符。

　　　　2，writer解读

　　　　　　“name”属性对应着读取对象的类型

　　　　　　“parameter”中writeMote属性表示操作、username属性对应MySQL的用户名、password对应MySQL的密码、column对应的是表头字段（注：这里的字段顺序需要和读取对象的顺序一样）、preSql属性表示写入前进行的sql语句、connection属性中jdbcUrl表示数据库的连接路径，table表示表名

 

cmd运行命令：

                        1 python E:\大数据清洗工具\DataX\datax\bin\datax.py E:\大数据清洗工具\DataX\datax\job\test.json

　　运行结果：

技术分享图片

 

 数据库中

技术分享图片

 

 如果连接数据库失败了，可能是没有jar包，在lib里放上连接Mysql数据库的jar包就好了。

原文：https://www.cnblogs.com/lover995/p/12411352.html

内容总结

以上是互联网集市为您收集整理的使用DataX将.csv文件的数据读入Mysql数据库全部内容，希望文章能够帮你解决使用DataX将.csv文件的数据读入Mysql数据库所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1152768.html

来源：【匿名】