最近项目中需要用到一个分布式的锁，考虑到基于会话节点实现的zookeeper锁性能不够，于是想使用 redis 来实现一个分布式的锁。看了网上的几个实现方案后，发现都不够严谨。比如这篇：用Redis实现分布式锁里面设计的锁有个最大的问题是锁的超时值TTL会一直被最近项目中需要用到一个分布式的锁，考虑到基于会话节点实现的zookeeper锁性能不够，于是想使用redis来实现一个分布式的锁。看了网上的几个实现方案后，发现都不够严谨。比如...
概述 什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写H概述 什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优...
以下内容由[五四陈科学院]提供 http://www.infoq.com/cn/articles/nosql-dynamo 三年前在infoq发表的一篇关于两种特别有代表性的分布式存储的设计思路解析，三年过去了，今天再来总结看看这几年的变化。 实际上，这三年，还是两个东西，一直没有冒出来更牛B以下内容由[五四陈科学院]提供 http://www.infoq.com/cn/articles/nosql-dynamo 三年前在infoq发表的一篇关于两种特别有代表性的分布式存储的设计思路解析，三年过去了，今天...
参考资料: http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Quick-Start/cdh4qs_topic_3_3.html http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Installing-and-Using-Impala/Installing参考资料: http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Quick-Start/cdh4qs_topic_3_3.html http://www.cloudera.com/content/cloud...
Redis有一系列的命令，特点是以NX结尾，NX是Not eXists的缩写，如SETNX命令就应该理解为：SET if Not eXists。这系列的命令非常有用，这里讲使用SETNX来实现分布式锁。 用SETNX实现分布式锁 利用SETNX非常简单地实现分布式锁。例如：某客户端要获得一个名字fRedis有一系列的命令，特点是以NX结尾，NX是Not eXists的缩写，如SETNX命令就应该理解为：SET if Not eXists。这系列的命令非常有用，这里讲使用SETNX来实现分布式锁。 用SE...
Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引. 互联网创业中大部分人都是草根创业，这个时候没有强劲的服务器，也没有钱去买很昂贵的海量数据库。 Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引.互联网创业...
Oracle相关分布式数据解决方案 可能在云计算、SOA架构下这种方案会逐渐消亡，但是目前还是比较实用的,本文简单介绍了常用的数据同步方案，由于正在使用高级复制的解决方案，所以重点说了oracle的高级复制 一、常见的分布式数据解决方案 如果数据库为oracle、Oracle相关分布式数据解决方案可能在云计算、SOA架构下这种方案会逐渐消亡，但是目前还是比较实用的,本文简单介绍了常用的数据同步方案，由于正在使用高级复制的解决方案，所...
MYSQLcluster分布式搭建笔记 一 、注意事项 ? 数据节点 和 sql 节点是否能链接管理节点 ? 注意端口号 telnet 关闭防火墙： Service iptables stop; Sql 节点启动时 注意权限 ? 二、软件安装： （一）管理节点 MGM 配置管理节点 首先在合适的位置，创建一个管MYSQLcluster分布式搭建笔记一、注意事项 ? 数据节点和 sql节点是否能链接管理节点? 注意端口号 telnet 关闭防火墙：Service iptables stop; Sql 节点启动时注意权限 ? 二、...
MySQL事务学习 -- 分布式事务 7 分布式事务 Innodb存储引擎支持XA事务，通过XA事务可以支持分布式事务的实现。分布式事务指的是允许多个独立的事务资源（transac tional resources）参与一个全局的事务中。事务资源通常是关系型数据库系统，也可以是其它类型MySQL事务学习 分布式事务 7 分布式事务 Innodb存储引擎支持XA事务，通过XA事务可以支持分布式事务的实现。分布式事务指的是允许多个独立的事务资源（transac tion...
本文英文原文发表于知名技术博客《Highly Scalable Blog》，对NoSQL数据库中的 分布式 算法和思想进行了详细的讲解。文章很长，由@juliashine进行翻译投稿。感谢译者的共享精神！ 译者介绍：Juliashine是多年抓娃工程师，现工作方向是海量数据处理与分析，关 本文英文原文发表于知名技术博客《Highly Scalable Blog》，对NoSQL数据库中的分布式算法和思想进行了详细的讲解。文章很长，由@juliashine 进行翻译投稿。感谢译者的共享精...
两阶段提交协议（two phase commit protocol，2PC）可以保证数据的强一致性，许多分布式关系型数据管理系统采用此协议来完成分布式事务。它是协调所有分布式原子事务参与者，并决定提交或取消（回滚）的分布式算法。同时也是解决一致性问题的一致性算法。该两阶段提交协议（two phase commit protocol，2PC）可以保证数据的强一致性，许多分布式关系型数据管理系统采用此协议来完成分布式事务。它是协调所有分布式原子事务参与者，...
关于开发新一代大数据分布式关系数据库的倡议 李万鸿 当今时代已进入大数据时代，而nosql数据库对sql和事物的支持不给力，因此，开发新一代大数据分布式关系数据库迫在眉睫，这是一个新的历史机遇,笔者建议全国的it人士组织起来从事这一伟大的工程。 开源精关于开发新一代大数据分布式关系数据库的倡议李万鸿当今时代已进入大数据时代，而nosql数据库对sql和事物的支持不给力，因此，开发新一代大数据分布式关系数据库迫在眉睫，这...
引子 redis作为一个强大的key/value数据库，其实还可以用来实现轻量级的分布式锁。 1.实现方案1 最早官方在SETNX命令页给了一个实现： acquire lock: SETNX lock.foo current Unix time + lock timeout + 1 release lock: DEL lock.foo acquire lock when ti引子 redis作为一个强大的key/value数据库，其实还可以用来实现轻量级的分布式锁。 1.实现方案1 最早官方在SETNX命令页给了一个实现：acquire lock: SETNX lock.foo <curren...
首先是HBase的完成分布式安装。这次部署的环境是hadoop-1.2.1+hbase-0.98.X。因为这个版本的HBase是直接对应hadoop-1.2.1，故也就 首先是HBase的完成分布式安装。这次部署的环境是Hadoop-1.2.1+hbase-0.98.X。因为这个版本的HBase是直接对应hadoop-1.2.1，故也就省去了覆盖jar包的步骤以及排除了覆盖带来的不稳定性。OK，下载后解压，进入conf目录，配置hbase-env.sh文件。如图。这里HBASE_CLASSPATH是指向hadoop的conf目录的，，这...
SSDB是一个高性能的支持丰富数据结构的NoSQL数据库,用于替代Redis或者与Redis配合存储十亿级别列表的数据，现在已被许多知名企业所应用。我们使用SSDB是想将现有 SSDB是一个高性能的支持丰富数据结构的 NoSQL 数据库, 用于替代 Redis或者与 Redis 配合存储十亿级别列表的数据，现在已被许多知名企业所应用。我们使用SSDB是想将现有的redis中的key迁移到SSDB以破除现有的redis 120G存储极限（当然可以扩展，但是计算了下成本就打...