CASSANDRA - 技术教程文章
java – Cassandra无法初始化类com.sun.jna.Native【代码】
我在CentOS 7上使用Cassandra 3.9版.在启动Cassandra Server时,我收到这样的错误::TRACE [MemtableFlushWriter:1] 2017-05-15 04:25:49,735 LogTransaction.java:264 – Closing transaction log [mc_txn_flush_3f6a46f0-3961-11e7-87b4-0728ea39fb0d.log in /var/lib/cassandra/data/system/local-7ad54392bcdd35a684174e047860b377]ERROR [main] 2017-05-15 04:25:49,745 CassandraDaemon.java:747 –Exception encountered duri...
java – 在cassandra中使用触发器【代码】
我尝试使用示例https://github.com/apache/cassandra/tree/trunk/examples/triggers 我接受了帮助并编写了自己的触发器.但是我在UnsortedColumns.getColumn(UnsortedColumns.java:105)上得到UnsupportedOperationException.这是网络上唯一活跃的例子.其他人在此示例中已弃用.我该如何解决 ？import java.nio.ByteBuffer; import java.util.ArrayList; import java.util.Collection; import java.util.List;import org.apache.cassa...
【赵强老师】NoSQL数据库之Cassandra基础【代码】【图】
一、Cassandra简介 Cassandra是一个混合型的非关系的数据库，类似于Google的BigTable。其主要功能比Dynamo （分布式的Key-Value存储系统）更丰富，但支持度却不如文档存储MongoDB（介于关系数据库和非关系数据库之间的开源产品，是非关系数据库当中功能最丰富，最像关系数据库的。支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型）。Cassandra最初由Facebook开发，后转变成了开源项目。它是一个网...
行业动态 | 利用Cassandra数据库揭开家族祖先的秘密【图】
? ? FamilySearch选择了基于Apache Cassandra的DataStax Enterprise (DSE)来加速用户增长，并通过更快的反应时间、高可用性以及零数据库宕机来提供强大的线上用户体验。? 自从采用了DSE，FamilySearch可以专注于构建和提高他们的应用程序，从而致力于联结不同代际的家庭成员的使命。“在家族树(Family Tree)这个App火了之后，我们收到了来自顾客的巨大反响。不过，为了提供出色的客户体验，我们需要一个伸缩性更好的数据库来防止宕...
cassandra数据库
配置java环境 #下载相应的jdk软件包，然后解压安装，我这里包名称为：jdk-8u91-linux-x64.tar.gz tar -xzf jdk-8u91-linux-x64.tar.gz ; mkdir -p /usr/java/ ; mv jdk1.8.0_25/ /usr/java/jdk1.8 #然后配置环境变量，这样可以任何地方引用jdk，如下配置： #vi /etc/profile 最后面加入以下语句： export JAVA_HOME=/usr/java/jdk1.8 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin...
django-如何提供存储在cassandra数据库中的图像？
对于django项目,我计划将jpegs存储到cassandra数据库中.为网站提供图像的最佳方法是什么？我已经计划构建自己的wsgi模块,但是有没有更好的方法：是否存在nginx或apache模块呢？解决方法:我们使用带有缓存层(磁盘和内存中的磁盘,例如Varnish)的PHP从Cassandra提供小文件(小于5 MB).
如何在cassandra和mysql之间进行性能测试？
我有兴趣在MySQL和Cassandra中基于相同的数据集并仅使用一个节点进行一些性能查询测试 我想要的是检查Cassandra和MySQL中查询的响应时间,以查找不同类型的数据量以及多个数据访问. (试着强调数据库). 有什么更好的方法呢？什么是最合适的基准？解决方法:首先,我会尝试回答你的问题. 大多数人都会使用cassandra-stress工具来强调cassandra,这在测试MySQL时会毫无用处.你需要找到一个为MySQL和Cassandra提供服务的通用工具(比方说,YC...
将MySQL数据/查询集转换为等效的Cassandra表示【代码】
考虑一个具有以下表结构的5亿行MySQL表…CREATE TABLE foo_objects (id int NOT NULL AUTO_INCREMENT,foo_string varchar(32),metadata_string varchar(128),lookup_id int,PRIMARY KEY (id),UNIQUE KEY (foo_string),KEY (lookup_id), );…仅使用以下两个查询进行查询…# lookup by unique string key, maximum of one row returned SELECT * FROM foo_objects WHERE foo_string = ?; # lookup by numeric lookup key, may return...
java – 每当有任何新行或任何新更新时从Cassandra数据库中拉出来？【代码】
我正在开发一个系统,我需要在Cassandra数据库中存储Avro Schemas.所以在Cassandra,我们将存储这样的东西SchemaId AvroSchema1 some schema 2 another schema现在假设我在Cassandra的上表中插入另一行,现在表格就像这样 – SchemaId AvroSchema1 some schema 2 another schema 3 another new schema只要我在上表...
Cassandra分页：如何使用get_slice使用cql库从Python查询Cassandra 1.2数据库【代码】
我有一个Cassandra 1.2集群,我使用cql库从Python中使用它.现在我需要使用get_slice实现一些看似非常简单的分页功能,但我找不到任何关于如何在cql库中使用这样的东西的文档：get_slice("key" : table_key,"column_parent" : {"column_family" : "MyColumnFamily"},"predicate" :{ "slice_range" : { "start" : "SomeStartID", "end" : "Z", "reverse" : "false", "count : "100" }} )我在get_slice的随机文档中看到了这种类型的语法...
从Java中的Spark运行Cassandra时出错 – org.apache.spark.sql.catalyst中的NoClassDefFoundError【代码】
我正在使用Cassandra 3.0.3,Spark 1.6.0并试图通过组合http://www.datastax.com/dev/blog/accessing-cassandra-from-spark-in-java中的旧文档和https://github.com/datastax/spark-cassandra-connector/blob/master/doc/7_java_api.md中的新文档来运行. 这是我的pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi...
Cassandra / HBase或者只是MySQL：潜在的问题在做下一件事
说我有“用户”.这是关键.我需要保持“用户数”.我计划用关键的“用户”和值“0”到“9999 ;-)”记录(尽可能多). 如果我使用Cassandra,HBase或MySQL,我将会遇到什么问题？说,我有这个“用户”键的数千个新更新,我需要增加该值.我有麻烦吗？锁定写入？这样做的其他任何方式？ 为什么这样做 – 会有很多“用户”般的键.不同的其他情况.但这个想法是一样的.为什么要保持这种方式 – 因为我会有更多的读取,所以我总能很快得到“计数值”...
mysql – 为什么我的Cassandra数据库读取数据的速度太慢？想要在不到10秒的时间内读取100,000行【代码】
我有一张带有400,000行的cassandra表’文章’primary key (source,created_at desc)当我使用以下方式查询数据时：select * from articles where source = 'abc' and created_at <= '2016-01-01 00:00:00'阅读110,000行需要8分钟. 这非常慢,我不知道错误在哪里. 我想在不到10秒内读取100,000行.不确定这是否可行？ 这里有一些更多细节：I have 3 nodes, replication factor =2, stragegy=SimpleStrategy, 4CPU, 32G RAM I am using ...
mysql和cassandra之间的区别
cassandra和mysql有什么区别？ 我用谷歌搜索过.但我不满意,我无法理解.请告诉我清楚.解决方法:MySQL是一个关系数据库,它使用SQL查询语言支持复杂,灵活的查询.本质上,关系模型由表(关系)组成,这些表可以通过多个表共有的键相互链接. Cassandra是一个键值存储(就像一个hashmap),它允许您根据键查找纯值或结构值.它不支持复杂/灵活的查询,但作为回报,它提供了更高的可伸缩性和性能.它不使用固定的预定义表,而是使用“基于列”的模型,其...
Nodejs操作Cassandra数据库
目录 前言 安装Cassandra Nodejs操作Cassandra前言操作系统win10 时间2019年02月 Nodejs版本：node v8.9.3 Cassandra版本：cassandra-3.11.3 参考网址1安装Cassandra 安装Cassandra数据库官网下载Cassandra压缩包 解压，并配置环境变量： |操作|变量名|变量值| |:---:|:---|:---| |新建|CASSANDRA_HOME|解压路径| |增加|PATH|解压路径\bin;|安装Nodejs的Cassandra依赖包 npm install cassandra-driver -g -g参数表示全局安装，这样...
NoSql Cassandra
我们为什么要使用NOSQL非关系数据库? 随着互联网web2.0网站的兴起，非关系型的数据库现在成了一个极其热门的新领域，非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，例如： 1、High performance - 对数据库高并发读写的需求 web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息...
Cassandra排查 | 记一次Cassandra Java堆外内存排查经历【图】
背景最近准备上线Cassandra这个产品，同事在做一些小规格ECS(8G)的压测。压测时候比较容易触发OOM Killer，把Cassandra进程干掉。问题是8G这个规格我配置的heap(Xmx)并不高（约6.5g）已经留出了足够的空间给系统。只有可能是Java堆外内存使用超出预期，导致RES增加，才可能触发OOM。调查过程0.初步怀疑是哪里有DirectBuffer泄漏，或者JNI库的问题。1.按惯例通过Google Perftools追踪堆外内存开销，但是并未发现明显的异常。2.然后用...
Ubuntu18.04 LTS 搭建Cassandra集群【代码】
环境需求jdk8 root@node01:~# java -version java version "1.8.0_202" Java(TM) SE Runtime Environment (build 1.8.0_202-b08) Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode)配置jdk请参考: https://www.cnblogs.com/ronnieyuan/p/11461377.htmlpython 2.7(必须是2.7版本[踩过坑], 截止本文时还没有python3版本的支持)如果你是centos7, 那么自带就有python2.7, 也没问题, centos6的话需要将python2.6升级到...
java-Cassandra hector loader应用程序内存不足【代码】
这个简单的应用程序使用带有标题的逗号delim文件并将其放入Cassandra中.它适用于小文件,但是内存只会增加,直到内存不足异常将其杀死为止. 我想念什么？package com.company; import java.io.BufferedReader; import java.io.File; import java.io.FileNotFoundException; import java.io.FileReader; import java.io.IOException; import me.prettyprint.cassandra.serializers.StringSerializer; import me.prettyprint.hector.ap...
java-查询包含集合(设置)的大行时,Cassandra中出现内存不足错误【代码】
我正在使用Cassandra 2.0.8,并且有一个cql3表定义如下：CREATE TABLE search_scf_tdr (fieldname text,fieldvalue text,scalability int,timestamptdr bigint,tdrkeys set<blob>,PRIMARY KEY ((fieldname, fieldvalue, scalability), timestamptdr) )我为此密钥空间使用每个DC 2的复制因子.我通过使用如下更新将项逐个添加到tdrkeys集合中来插入此表：UPDATE search_scf_tdr SET tdrkeys = tdrkeys + "new value" WHERE "all prima...
linux – 启动cassandra RHEL 6.5时的JNA链接问题
我正在尝试在RHEL 6.5服务器中设置cassandra.当我启动cassandara时,我得到一个与JNA相关的错误.例外情况说找不到课程.但是,我在日志中看到jna jar被添加到类路径中.我尝试使用apache-cassandra-3.0.0和apache-cassandra-2.2.3,我在两者中都得到了相同的异常.我发现jna jar在$CASSANDRA_HOME / lib和/usr/share / java中都可用.安装的jna jar版本是4.0.0.任何帮助表示赞赏.以下是启动日志 – INFO 05:57:57 Classpath：/home/cassa...
java – Linux x86_64上的Cassandra Startup Error 1.2.6【代码】
尝试从最新的稳定版本–7000 – 1.2.6在Linux上安装cassandra 我已经修改cassndra.yaml指向自定义目录而不是/ var,因为我没有对/ var的写访问权限 我在启动时看到这个错误.由于发布似乎相对较新,因此无法在谷歌上找到任何答案.只是将它发布在这里以防万一我身上有一个愚蠢的错误. 相同的分发文件在我的macos x86_64机器上运行正常.INFO 19:24:35,513 Not using multi-threaded compaction java.lang.reflect.InvocationTargetExc...
linux – 在docker容器中不能使用jcmd,jps或jstat cassandra进程【代码】
$jcmd -l 418 sun.tools.jcmd.JCmd -l$jstat -gcutil -t 10 250ms 110 not found我知道jdk中的bug与将jstat作为root连接到以不同用户身份运行的进程相关. 这里,这个docker容器有一个用户root,从ps命令可以看出,cassandra在root下运行.$whoamiroot我试图做以下事情：$sudo -u root jcmd -l 任何帮助表示赞赏. Docker容器是debian：jessie运行java版本：openjdk版“1.8.0_66-internal” 这是ps -ef的输出：UID PID PPID C S...
java – 无法启动Cassandra(CentOS7上的单节点集群)【代码】
参见英文答案 > Cassandra and Java 9 – ThreadPriorityPolicy=42 is outside the allowed range 5个我想用一个非常简单的单节点集群启动Cassandra,但我不能这样做. 我遵循了描述的步骤 https://www.digitalocean.com/community/tutorials/how-to-install-cassandra-and-run-a-single-node-cluster-on-a-ubuntu-vps 基本上, >在VirtualBox上构建了一个全新的CentOS 7虚拟机.>安装JDK,将其放在...
cassandra c#驱动程序内存泄漏【代码】
使用cassandra .net驱动程序,我们面临以下问题：使用参数化INSERT插入大量行时,应用程序内存使用量不断增长：class Program {static Cluster cluster = Cluster.Builder().AddContactPoints(ConfigurationManager.AppSettings["address"]).Build();static Session session = cluster.Connect(ConfigurationManager.AppSettings["keyspace"]);static int counter = 0;static void Main(string[] args){for (int i = 0; i < 50; i++)...
Cassandra 在时空数据上的探索【图】
分享嘉宾：肖斐 阿里巴巴 技术专家文章整理：唐唯汉内容来源：Cassandra Meetup出品平台：DataFunTalk注：欢迎转载，转载请留言。导读：时空数据，其实随着现在大家 5G 的普及，已经成为一种重要的数据类型，例如快递数据，朋友圈位置信息，天气遥感信息等，这些都属于时空数据。而基于类似 Cassandra 这种传统 NoSQL 数据库对时空数据进行管理也存在一些挑战，所以今天就分享一下基于 Cassandra 数据库时空数据管理方面的探索。本...