缓存策略 缓存穿透 缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求，如发起为id为“-1”的数据或id为特别大不存在的数据。 方法1：布隆过滤器 Bloom-Filter算法的核心思想就是利用多个不同的Hash函数来解决“冲突”。 Hash存在一个冲突（碰撞）的问题，用同一个Hash得到的两个URL的值有可能相同。为了减少冲突，我们可以多引入几个Hash，如果通过其中的一个Hash值我们得出某元素不在集合中，那么该元素肯定不在集合中...
JAVA架构师眼中的高并发架构，分布式架构 应用服务器集群前言 高并发经常会发生在有大活跃用户量，用户高聚集的业务场景中，如：秒杀活动，定时领取红包等。 为了让业务可以流畅的运行并且给用户一个好的交互体验，我们需要根据业务场景预估达到的并发量等因素，来设计适合自己业务场景的高并发处理方案。 在电商相关产品开发的这些年，我有幸的遇到了并发下的各种坑，这一路摸爬滚打过来有着不少的血泪史，这里进行的总结，作为自...
JAVA分布式开发RedisGitGit进阶SvnNginxSpringcloud Redis Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API，Redis就像是一个HashMap以一个独立进程的形式运行，被当作缓存使用 步骤：安装Redis、启动服务端（redis-server.exe）、启动客户端（redis-cli.exe） 数据类型：String（字符串）、List（列表）、Hash（字典）、Set（集合）、Sorted Set（有序集合）...
前言作为一个Java开发者，Java架构师应该是大家的一个职业目标了吧。要成为Java架构师，首先你要是一个高级Java工程师，熟练使用各种框架，并知道它们实现的原理。jvm虚拟机原理、调优,懂得jvm能让你写出性能更好的代码；什么对象池，连接池，线程池...java反射技术，写框架必备的技术，但是有严重的性能问题，替代方案java字节码技术;nio，没什么好说的，值得注意的是"直接内存"的特点，使用场景;java多线程同步异步；java各种集合...
前言 本文旨在讲述如何使用 Java 语言实现基于 Raft 算法的，分布式的，KV 结构的存储项目。该项目的背景是为了深入理解 Raft 算法，从而深刻理解分布式环境下数据强一致性该如何实现；该项目的目标是：在复杂的分布式环境中，多个存储节点能够保证数据强一致性。 项目地址：https://github.com/stateIs0/lu-raft-kv 欢迎 star ：） 什么是 Java 版 Raft 分布式 KV 存储 Raft 算法大部分人都已经了解，也有很多实现，从 GitHub 上来...
今天在看书的时候，看到了分布式事务的一致性问题，就赶紧记下来。一、分布式事务介绍在我们平时写的代码中，我们可以用一个事务包含许多个SQL调用，如果某一个数据库操作发生异常，就可以将之前的SQL操纵全部进行回滚，只有当所以的SQL操作全部成功，才进行提交，这就保证了事务的一致性。抠张图看看 但是在分布式环境下，多个数据库操作可能被拆分到独立的三个数据库访问服务中，此时原来的本地SQL调用就演变成了远程服务调用，...
背景在传统架构中可以使用spring的@Transactional 进行声明式或者编程式的事务管理，但如果我们代码中涉及到多数据源操作，就会发现spring的@Transactional事务管理机制会失灵，这种情况下我们就可以考虑使用两阶段提交的解决方案。我们以mysql为例，mysql在5.0版本后支持了XA规范，也就是支持2PC形式的分布式事务。mysql XA相关sql语句XA start global_id,branch_id; update user set age=22 where id=12; update order set amoun...
今天在看书的时候，看到了分布式事务的一致性问题，就赶紧记下来。 一、分布式事务介绍 在我们平时写的代码中，我们可以用一个事务包含许多个SQL调用，如果某一个数据库操作发生异常，就可以将之前的SQL操纵全部进行回滚，只有当所以的SQL操作全部成功，才进行提交，这就保证了事务的一致性。 抠张图看看 但是在分布式环境下，多个数据库操作可能被拆分到独立的三个数据库访问服务中，此时原来的本地SQL调用就演变成了远程服务调...
Java任务调度框架之分布式调度框架XXL-Job介绍及快速入门调度器使用场景：Java开发中经常会使用到定时任务：比如每月1号凌晨生成上个月的账单、比如每天凌晨1点对上一天的数据进行对账操作，在比如每天凌晨5点给180天未登陆过的用户发送邮件提醒等等。定时任务在我们开发中也占有很重要的部分。Java实现定时任务有很多方式：1.JDK自带的定时器实现，即java.util.TimerTask类2.使用Quartz定时器来实现3.使用spring相关的任务调度。自...
我有一个分布式视频分析系统,该系统包括：1. feature extraction: generated lots of features(20+) from each frame of the video 2. multiple detectors(in different machine): * Each of them will get a subset of feature* Each of them needs the features from multiple frames. * Eg. Detector 1 needs feature 1-5 from 3 frames to start processing; Detector 2 needs feature 2-8 from 8 frames to start processing我...
转载自：公众号来源：码农翻身 作者：刘欣 Tomcat的锁 Tomcat是这个系统的核心组成部分， 每当有用户请求过来，Tomcat就会从线程池里找个线程来处理，有的执行登录，有的查看购物车，有的下订单，看着属下们尽心尽职地工作，完成人类的请求，Tomcat就很有成就感。 与此同时，它也很得意，所有的业务逻辑尽在掌握。MySQL算啥！不就是一个保存数据的地方吗？ Redis算啥！不就是一个加快速度的缓存吗？ 没有他们，我也能找到...
我正在开发一个系统,可以用非常简单的术语描述如下： >有多个服务器,每个服务器运行相同的Java App(以实现可伸缩性).>有一个公用的数据库服务器,每个应用程序服务器都与之通信.>数百万个客户端,每个客户端连接到一台随机服务器.每个客户端都有一个带有一台服务器的开放套接字. 现在说,客户端A已连接到服务器A,并希望向客户端B发送消息. 解决此类问题的最佳方法是什么？跟踪哪个客户端连接到哪个服务器以及如何使服务器相互通信的最...
Java开发工程师一般负责后端开发，当然也有专门做Java Web的工程师，但是随着前后端的分离，越来越多的Java工程师需要往大后端方向发展。 今天我们就来介绍一下Java后端开发者的书单。 首先要感谢一下江南白衣大大的后端书架，让我在初学阶段读到了很多好书，直到现在都印象深刻。 我在两年的学习历程中看了很多的书，其中不乏XXX入门到精通，XXX王者归来，XXX指南什么的。 虽然这类书确实毛病很多，但是作为非科班的我来说，当时还...
我有一个由一些用Java编写的应用程序实例组成的系统.对它们的请求是负载均衡的,以实现高可用性.每秒,这个“集群”接收数百个小数据块(每个数据块由几个简单的字符串组成),存储在数据库中,保存几天,然后丢弃.除了存储此数据外,主要要求是快速确定给定值是否存储在数据库中.适当地建立索引和分区的数据库表似乎适合该问题,并且至少目前就可以很好地工作. 问题是,大约80％的搜索值未找到,因为它们不在数据库中.因此,我想加快速度,并加...
我正在开发一个托管小型Java应用程序的平台,该平台目前都使用单个线程,并位于Docker引擎中,使用来自Kafka服务器的数据并记录到中央数据库. 现在,我需要在该平台上放置另一个Java应用程序.这款应用程序使用的多线程处理量相对较高,我已经在Docker容器中对其进行了测试,并且在该容器中可以完美运行,因此,我准备将其部署在可以手动扩展的平台上,也就是说,有人可以定义数量一堆将要启动的容器,每个容器都包含此应用程序的一个实例. 我的...