Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是...
技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152数据库中间件的定义上面是如果不用mycat,java应用直接操作mysql数据库, 可能要面对,java与数据库紧耦合 高访问量高并发对数据库的压力 读写请求的数据不一致 这些问题咱们传统的办法可能是,给这个java应用,配置多个数据源,然后不同的数据源,去访问不同的数据库 通过这样的方式,但是,这样的话,只能,就是说,不同的数据库,放不同的数据才行,因为,如果,数据库之间不隔离的话...
一、Linux下开源监控系统简单介绍1）cacti：存储数据能力强，报警性能差2）nagios：报警性能差，存储数据仅有简单的一段可以判断是否在合理范围内的数据长度，储存在内存中。比如，连续采样数据存储，有连续三次不在合理范围内的数据就报警3）zabbix：结合上面两种工具的优点，又可以存储数据，又可以报警。Zabbix是一个基于Web界面提供分布式系统监视及网络监视功能的企业级开源解决方案。借助Zabbix可很轻松地减轻运维人员们繁重...
一个动态、独立维护的数据库 账本，作为会计的基础，与书写和金钱的存在同样古老。 （来源：Unsplash） 其记录媒介曾经是粘土、木棒（有火灾危险）、石头、莎草纸、纸张。当计算器在 1980、1990 年代变得普及化后，纸本记录便转为数字化，通常是经由手动输入数据而成。 这些早期的数字分类账（digital ledger）模仿了纸本世界的编目和会计，并且也说明数字化更多地是应用了纸本文件的既有作法，而非创建新方式。基于纸本纪录的制度...
一、FastDFS简介 一、FastDFS简介FastDFS是由国人余庆所开发，其项目地址：https://github.com/happyfish100 FastDFS是一个轻量级的开源分布式文件系统，主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。 支持存储服务器在线扩容,支持相同的文件只保存一份,节约磁盘。 FastDFS只能通过Client API访问，不支持POSIX访问方式。 FastDFS适合中大型网站使用，用来存储资源文件(如：图片、文档、视频等)二...
CAP理论 一致性（Consistency）可用性（Availability）分区容错性（网络分区）Partition tolerance CAP理论的特点，就是CAP只能满足其中2条 CA(放弃P)：将所有的数据放在一个节点。满足一致性、可用性。 AP(放弃C)：放弃强一致性，用最终一致性来保证。 CP(放弃A)：一旦系统遇见故障，受到影响的服务器需要等待一段时间，在恢复期间无法对外提供服务。 一致性算法问题： 为了解决分布式一致性问题，产生了不少经典的分布式一致性...
来分享一下高并发、多线程、分布式的相关知识，后续开始给大家分享多线程的相关知识~ （当然，本人水平有限，是分享截至目前为止自己知道的，还在不断学习中） 首先第一点，要明白一件事，高并发不等于多线程也不等于分布式，虽然他们经常同时出现，但是本质上是相互独立的，不要混淆，高并发在某些时候是可以用多线程来处理，但是并不是所有场景都可以用多线程，比如本楼主做过的这几个业务，要求高并发的话也没法用多线程处理： ...
本文重点讲解sharding-phere是什么？能做什么？怎么用三大经典问题。 1.Sharding-Sphere 是什么？Sharding-Sphere是一套开源的 分布式 数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar这3款相互独立的产品组成。他们均提供标准化的数据分片、读写分离、柔性事务和数据治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。 Sharding-Sphere定位为关系型数据库中...
本篇属于《分布式系统学习》系列 教材：《分布式系统：概念与设计》 新手上路，按我的一贯作风，第一遍基本是总结书上的东西，对于小白来说，看书还不如看我的读书笔记。所以本系列适用于跟我一样的小白。 CSDN搜“看，未来”，欢迎关注收藏。文章目录 什么是分布式系统 并发 缺乏全局时钟 独立故障性 分布式系统的未来 泛在联网和现代互联网 移动和无处不在的计算 分布式多媒体需求挑战 异构性 开放性 安全性 可伸缩性 故障处理什...
服务资源 四台相同配置的服务器 4+8 其中一台作为master 机器，其他三台做为worker 机器。 分布式 再次思考一个问题，分布式解决了什么困难，但机器并发到一定程度，无法再起线程。当需求量大的时候就需要把这个压力分摊到多台机器上，就是分布式吧 这里测试框架使用locust ，官方说明：https://docs.locust.io/en/stable/running-locust-docker.html#docker-compose Git配置 安装 yum install git 生成ssh_key ssh-keygen -o 配置...
Java面试指南 今天给大家分享一份【Java 面试 + Java 后端技术学习指南】：一份通向理想互联网公司的面试指南，包括 Java，技术面试必备基础知识、Leetcode、计算机操作系统、计算机网络、系统设计、分布式、数据库（MySQL、Redis）、Java 项目实战等， 新鲜出炉！ 此手册内容专注 Java面试 ，这是本人花费了半年的时间总结的【Java 面试 + Java 后端技术学习指南】，目前本人已经拿到了腾讯等大厂offer，只要大家把这上面的知识点...
1.说明介绍1.1 基本原理image.pngRBD Mirror原理其实和MySQL的主从同步原理非常类似，前者基于journaling，后者基于binlog，简单地说就是利用日志进行回放(replay)：通过在存储系统中增加Mirror组件，采用异步复制的方式，实现异地备份。(此处的journal是指Ceph RBD的journal，而不是OSD的journal)该能力利用了 RBD image 的日志特性，以确保集群间的副本崩溃一致性。镜像功能需要在同伴集群（ peer clusters ）中的每一个对应的 p...
分布式锁的常见实现思路一. 概述1.1 引言当前参与的项目中会遇到一些线程安全问题，由于业务是多节点部署的，Java的单机的并发同步手段synchronized和java.util.concurrent包已经不太够用了，这个时候我们需要分布式锁来保证线程安全问题，所以这里学习总结了几种分布式锁的实现思路。分布式的CAP理论告诉我们任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），...
如何搭建SpringBoot微服务ThreadPoolExecutor线程池的使用ReentrantLock和Synchronized的使用场景数据库锁机制(悲观锁、乐观锁)分布式锁(RedissLock、Zookeeper)进程内消息队列(LinkedBlockingQueue、ArrayBlockingQueue、ConcurrentLinkedQueue)分布式消息队列(Redis、Kafka)AOP实现切面锁Disruptor高效队列商品详情页静态化 case0: 抢红包case 乐观锁 悲观锁 case1: 秒杀活动 原文：https://www.cnblogs.com/shawshawwan/p/92...
参考：慕课网在线分布式数据库原理与实践 淘宝沈询博客 沈询微博 淘宝技术原理系列视频 在公司学习TDDL，无意间感觉这方面挺有意思的。 很多工程上的方案并不像论文上写的那样精准，要考虑的问你有很多，最后看到的方案比较粗暴、高效、精准性略低。性能 易用 可运维、可监控 结果简单 组件化 内网上的课程笔记： 分布式存储原理与TDDL 地址零、数据库提供功能 ACID中的事务（保证原子性），sql的查询、视图、存储过程。 数据库功...