处理json大文件
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了处理json大文件,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1468字,纯文字阅读大概需要3分钟。
内容图文
![处理json大文件](/upload/InfoBanner/zyjiaocheng/1208/32b659d1c89c4d3da37a1078208e29a2.jpg)
import json import pymysql # 读取review数据,并写入数据库 # 导入数据库成功,总共4736897条记录 def prem(db): cursor = db.cursor() cursor.execute("SELECT VERSION()") data = cursor.fetchone() print("Database version : %s " % data) # 结果表明已经连接成功 cursor.execute("DROP TABLE IF EXISTS review") # 习惯性 sql = """CREATE TABLE review ( review_id VARCHAR(100), user_id VARCHAR(100), business_id VARCHAR(200), stars INT, text VARCHAR(10000) NOT NULL, useful INT, funny INT, cool INT)""" cursor.execute(sql) # 根据需要创建一个表格 def reviewdata_insert(db): with open(‘E:/data/yelp_data/dataset/review.json‘, encoding=‘utf-8‘) as f: i = 0 while True: i += 1 print(u‘正在载入第%s行......‘ % i) try: lines = f.readline() # 使用逐行读取的方法 review_text = json.loads(lines) # 解析每一行数据 result = [] result.append((review_text[‘review_id‘], review_text[‘user_id‘], review_text[‘business_id‘],review_text[‘stars‘], review_text[‘text‘], review_text[‘useful‘], review_text[‘funny‘], review_text[‘cool‘])) print(result) inesrt_re = "insert into review(review_id, user_id, business_id, stars, text, useful, funny, cool) values (%s, %s, %s, %s,%s, %s,%s, %s)" cursor = db.cursor() cursor.executemany(inesrt_re, result) db.commit() except Exception as e: db.rollback() print(str(e)) break if __name__ == "__main__": # 起到一个初始化或者调用函数的作用 db = pymysql.connect("localhost", "root", "password(你的密码)", "数据库名称", charset=‘utf8‘) cursor = db.cursor() prem(db) reviewdata_insert(db) cursor.close()
原文:https://www.cnblogs.com/yspass/p/9346446.html
内容总结
以上是互联网集市为您收集整理的处理json大文件全部内容,希望文章能够帮你解决处理json大文件所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。