开发笔记 -- MongoDB 单个数据集合拆分脚本
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了开发笔记 -- MongoDB 单个数据集合拆分脚本，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含802字，纯文字阅读大概需要2分钟。
内容图文
场景描述：
数据清洗过程中发现，Mongodb中单个集合(表)数据量比较大(千万)，定时任务处理加工数据时，由于服务器内存有限，会在处理过程中，出现内存不足的异常，于是希望把单个集合进行拆分成多个，在网上找了相关文章，发现处理这种的场景的案例比较少，基本上考虑了如下3中方案来实现：
1. mongodb sharding 分片 ---没研究透彻
2. mongodb 聚合查询，将结果封装成变量，循环遍历，写入新的集合 ---测试了下，效率较低 --文末会说明该方案，适用于小数据量
3. 自定义python脚本 ---自己动手，丰衣足食
处理方式：
这里采用了自己写脚本处理的方式，好了！逻辑比较简单，就是将源数据对象读取，循环遍历，到达自己指定的count计数后，开多线程，将符合条件的数据写入新集合(表)。
脚本内容：小伙伴们，可以根据自己实际需求修改脚本内相应的条件，有更好的实现方案，欢迎交流。
待补充
---补充：
mongodb 查询结果，循环遍历写入
待补充
内容总结
以上是互联网集市为您收集整理的开发笔记 -- MongoDB 单个数据集合拆分脚本全部内容，希望文章能够帮你解决开发笔记 -- MongoDB 单个数据集合拆分脚本所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。