首页 / MYSQL / sqoop和mysql之间导问题
sqoop和mysql之间导问题
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了sqoop和mysql之间导问题,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1129字,纯文字阅读大概需要2分钟。
内容图文
![sqoop和mysql之间导问题](/upload/InfoBanner/zyjiaocheng/870/58e4d6a01fef41f99f2d8d7c8e65c1c6.jpg)
1.1. 导出时报错
1.1.1. Could not buffer record
在import的时候设置--inline-lob-limit <n> 设置内联的LOB对象的大小
1.1.2. Packet for query is too large (1136885 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable.
有时候大的插入和更新会受max_allowed_packet 参数限制,导致写入或者更新失败。
查看目前配置
show VARIABLES like '%max_allowed_packet%';
显示的结果为:
+--------------------+---------+
| Variable_name | Value |
+--------------------+---------+
| max_allowed_packet | 1048576 |
+--------------------+---------+
以上说明目前的配置是:1M
修改方法
修改方法
1、修改配置文件
可以编辑my.cnf来修改(windows下my.ini),在[mysqld]段或者mysql的server配置段进行修改。
max_allowed_packet = 20M
如果找不到my.cnf可以通过
mysql --help | grep my.cnf
去寻找my.cnf文件。
linux下该文件在/etc/下。
2、在mysql命令行中修改
在mysql 命令行中运行
set global max_allowed_packet = 2*1024*1024*10
然后退出命令行,重启mysql服务,再进入。
show VARIABLES like '%max_allowed_packet%';
查看下max_allowed_packet是否编辑成功
注意:该值设置过小将导致单个记录超过限制后写入数据库失败,且后续记录写入也将失败。
--inline-lob-limit 16777216
内容总结
以上是互联网集市为您收集整理的sqoop和mysql之间导问题全部内容,希望文章能够帮你解决sqoop和mysql之间导问题所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。