python – Cassandra缓冲了数百万列的读取

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – Cassandra缓冲了数百万列的读取，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1183字，纯文字阅读大概需要2分钟。

内容图文

我有一个cassandra集群,行数很少(<100).每行有大约200万列.我需要得到一个完整的行(所有200万列),但是在我完成阅读之前,事情开始失败.我想做一些缓冲读取. 理想情况下,我想使用Pycassa做这样的事情(不,这不是调用get的正确方法,它只是让你可以得到这个想法)：

results = {}
start = 0
while True:
    # Fetch blocks of size 500
    buffer = column_family.get(key, column_offset=start, column_count=500)
    if len(buffer) == 0:
        break

    # Merge these results into the main one
    results.update(buffer)

    # Update the offset
    start += len(buffer)

Pycassa(以及扩展的Cassandra)不允许你这样做.相反,您需要为column_start和column_finish指定列名.这是一个问题,因为我实际上并不知道开始或结束列名称是什么.特殊值“”可以指示行的开头或结尾,但这对中间的任何值都不起作用.

那么如何才能完成单行中所有列的缓冲读取？谢谢.

解决方法:

从pycassa 1.0.8 documentation

看起来你可以使用类似下面的[伪代码]：

results = {}
start = 0
startColumn = ""
while True:
    # Fetch blocks of size 500

   buffer = get(key, column_start=startColumn, column_finish="", column_count=100)
   # iterate returned values. 
   # set startColumn == previous column_finish. 

请记住,在每次后续调用中,您只返回99个结果,因为它还返回了您已经看到的startColumn.我在Python方面还不够熟练,无法迭代缓冲区来提取列名.

内容总结

以上是互联网集市为您收集整理的python – Cassandra缓冲了数百万列的读取全部内容，希望文章能够帮你解决python – Cassandra缓冲了数百万列的读取所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端