python 动态迁移solr数据过程解析

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python 动态迁移solr数据过程解析，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3566字，纯文字阅读大概需要6分钟。

内容图文

如何把在线的其中一个 collection 里面的数据迁移到另外一个collection下？

思路： collection数据量比较大，所以一次性操作所有数据太大，于是分段执行操作。先分段 按1000条数据量进行查询，处理成json数据，把处理后的json数据 发送到目的collection上即可。

实现:

一、使用http的接口先进行查询

使用如下格式查询：

其中：collection_name 是你查询的collection的名称

rows 是需要查询多少行，这里设置为1000

start 从多少行开始进行查询，待会儿脚本里面就是控制这个参数进行循环查询

http://host:port/solr/collection_name/select?q=*:*&rows=1000&start=0

查询处理后会得到如下图片里面的数据格式，其中

在response里面，有两个键值数据是我们需要的，一个是numFound（总的数据条数），docs（所有json数据都在这里面）

实现:

在docs里面，每条数据都带有version 键值，这个需要给去掉

二、使用http的接口提交数据

wt：使用json格式提交

http://host:port/solr/collection_name/update?wt=json

header 需设置为 {"Content-Type": "application/json"}

提交参数：solr在做索引的时候，如果文档已经存在，就替换。（这里的参数也可以直接加到url里面）

{"overwrite":"true","commit":"true"}

data_dict 就是我们处理后的 docs数据

提交数据：data={"add":{ "doc":data_dict}}

三、实现的脚本如下：

#coding=utf-8
import requests as r
import json
import threading
import time
#发送数据到目的url des_url，data_dict 参数为去掉version键值后的一条字典数据
def send_data(des_url,data_dict):
 data={"add":{ "doc":data_dict}}
 headers = {"Content-Type": "application/json"}
 params = {"boost":1.0,"overwrite":"true","&commitWithin":1000,"commit":"true"}
 url = "%s/update?wt=json"%(des_url)
 re = r.post(url,json = data,params=params,headers=headers)
 if re.status_code != 200:
  print("导入出错",data)

我是一名python开发工程师，从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习,
面试真题，面试真题，面试真题等。想要这些资料的可以进群：688244617
 
#获取数据，调用send_data 发送数据到目的url
def get_data(des_url,src_url):
  #定义起始行
 start = 0
 #先获取到总的数据条数
 se_data=r.get("%s/select?q=*:*&rows=0&start=%s"%(src_url,start)).text
 se_dict = json.loads(se_data)
 numFound = int(se_dict["response"]["numFound"])
 #while循环，1000条数据为一个循环
 while start < numFound:
  #定义存放多线程的列表
  th_li = []
    #获取1000条数据
  se_data=r.get("%s/select?q=*:*&rows=1000&start=%s"%(src_url,start)).text
    #把获取的数据转换成字典
  se_dict = json.loads(se_data)
    #获取数据里的docs数据
  s_data = (se_dict["response"]["docs"])
 
  #循环得到的数据，删除 version键值，并使用多线程调用send_data 方法发送数据
  for i in s_data:
   del i["_version_"]
   th = threading.Thread(target=send_data,args=(des_url,i))
   th_li.append(th)
 
  for t in th_li:
   t.start()
   t.join()
 
  start += 1000
  print(start)
 
if __name__ == "__main__":
 #源数据，查询数据的collection地址
 src_url = "http://ip:port/solr/src_connection"
 #导入数据导目的collection 的地址
 des_url = "http://ip:port/solr/des_connection"
 start_time = time.time()
 get_data(des_url,src_url)
 end_time = time.time()
 print("耗时：",end_time-start_time,"秒")

备注：

一、如果你的collection 不在同一个网络，不能实现在线传输，可以先把for循环 删除了version键值的数据，写入一个文件中，然后copy到目的网络的服务器上，循环读取文件进行上传,如下写入文件（这个就根据各位大佬的喜好来写了），但读取后，需要把每一条数据都转换成字典进行上传：

?

二、清除数据可使用一下方法，自测比较方便的一种

在你要清除collection里面

选择 documents

document type 选择xml

将一下内容复制到如图位置，最后点击submit document 按钮即可

1 #控制web界面删除数据
2 <delete><query>:</query></delete>
3 <commit/>

以上就是本文的全部内容，希望对大家的学习有所帮助，觉得文章还可以的话不妨收藏起来慢慢看，有任何意见或者看法欢迎大家评论！

内容总结

以上是互联网集市为您收集整理的python 动态迁移solr数据过程解析全部内容，希望文章能够帮你解决python 动态迁移solr数据过程解析所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端