首页 / 缓存 / [SQL Server]内存缓存数据写入磁盘(三)延迟持久性Delayed Durability(和魔鬼交易)

[SQL Server]内存缓存数据写入磁盘(三)延迟持久性Delayed Durability(和魔鬼交易)

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了[SQL Server]内存缓存数据写入磁盘(三)延迟持久性Delayed Durability(和魔鬼交易)，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7401字，纯文字阅读大概需要11分钟。

内容图文

[SQL Server]内存缓存数据写入磁盘(三)延迟持久性Delayed Durability(和魔鬼交易)
发表于 2019-09-13 | 分类于后端 | 没有评论
Delayed Durability是SQL Server 2014的新功能，在某些Transaction log负载较大的情境中，如果愿意延迟一点ACID灵魂中的持久性(Durability)，同时也有接受可能的Data Loss风险准备，也许可以用延迟持久性和魔鬼交换Transaction log写入性能。

上一篇进行间接检查点(Indirect CheckPoint)之后，我们从性能角度观察了等候时间统计的DMV(sys.dm_os_wait_stats)，由于第二篇的测试情境是大量数据写入，发现了大量WRITELOG的WaitType!
?

前面我们曾讨论到，SQL Server为了确保完整性(Atomicity)及持久性(Durability)，一个事务的Commit完成，是将写入Buffer Pool中的”Log” Flush到Disk上才算完成，也就是write-ahead log (WAL)。
之前曾有个客户的I/O瓶颈是在Transaction Log写入磁盘，在SQL Server 2014多了一种延迟持久性的作法，概念有点像我们AP使用异步方式写LOG，事务确认将数据及纪录写到Buffer后，事务不再等到Transaction log写入磁盘才算整个commit。
?

使用警语:
Delayed Durability作法是用ACID的100%持久性来和Log I/O性能作交换，就像一种和魔鬼的事务，德国民间传说中，浮士德(Faustus)用了灵魂换取了魔鬼的合约，重新拥有了青春和享乐。
?
测试Delayed Durability会分别以完整持久性(Full) vs 延迟持久性(Delayed)在几种特定事务活动来比较性能的差异。
   ?   大量单笔事务写入
   ?   整批事务写入
   ?   整批事务更新
另外我们也尝试人工、弹性及数据库备份来触发及观察log Flush。

建立数据库并建立扩充事件观察Transaction log flush活动
1.建立测试数据库、复原模式为完整并进行完整备份
CREATE DATABASE [FlushDiskDb]
CONTAINMENT = NONE
ON PRIMARY
( NAME = N‘FlushDiskDb‘, FILENAME = N‘C:tempdbFlushDiskDb.mdf‘ , SIZE = 8092KB , FILEGROWTH = 1024KB )
LOG ON
( NAME = N‘FlushDiskDb_log‘, FILENAME = N‘C:tempdbFlushDiskDb_log.ldf‘ , SIZE = 8092KB , FILEGROWTH = 10%)
GO

USE [master]
GO
ALTER DATABASE [FlushDiskDb] SET RECOVERY FULL WITH NO_WAIT
GO

BACKUP DATABASE [FlushDiskDb] TO DISK = N‘C:tempdbFlushDiskDb.bak‘ WITH NOFORMAT, NOINIT,
NAME = N‘FlushDiskDb-完整数据库备份‘, SKIP, NOREWIND, NOUNLOAD, STATS = 10
GO
数据库准备好了!
?
2.建立扩充事件观察log Flush活动
CREATE EVENT SESSION [logFlushEvent] ON SERVER
ADD EVENT sqlserver.databases_log_flush(
    ACTION(package0.event_sequence,sqlserver.is_system))
ADD TARGET package0.event_file
(
    SET FILENAME = N‘C:tempdblogFlushEvent.xet‘
)
WITH (MAX_DISPATCH_LATENCY = 1 SECONDS)

ALTER EVENT SESSION [logFlushEvent] ON SERVER STATE=START
扩充事件也准备好了!
SSMS管理工具 > 管理 > 扩充事件 > 工作阶段
?

写入前数据库log状态
use FlushDiskDb
DBCC LOGINFO
只有4个VLF
?
DBCC SQLPERF(logspace)
Log Size: 8MB
?

执行大量的单笔事务写入(对照组)
USE [FlushDiskDb]
--建立数据表t1
IF (object_id(‘t1‘)) is not null
DROP TABLE t1;
create table t1
(
   c1 int identity,
   c2 varchar(30)
)

--纪录开始时间
DECLARE @START DATETIME = GETDATE();
--执行100,000笔写入
Declare @COUNT INT = 0;
WHILE (@COUNT < 100000)
BEGIN
SET @COUNT = @COUNT + 1
INSERT INTO t1
        VALUES (‘T‘ + CONVERT(VARCHAR, @COUNT))
END
--(4)打印执行时间
PRINT ‘execution time(millisecond):‘ + CONVERT(VARCHAR, DATEDIFF(ms, @START, getdate()))
执行时间: 25秒
?
查询log flush次数:
SELECT count(*)
FROM sys.fn_xe_file_target_read_file(‘C:tempdblogFlushEvent*.xet‘, null , null, null);
增加了10万次log flush，也就是有10万次磁盘活动。
?

写入后数据库log状态(对照组)
use FlushDiskDb
DBCC LOGINFO
45个VLF(好像有点太多，可以调整文件初始及成长allocate size，避免太过破碎)
?
数据库Log Size:
DBCC SQLPERF(logspace)
10万笔事务，Log将近增加了400MB
?

启用延迟持久性(DELAYED_DURABILITY)实验组
--数据库内所有的事务都启用延迟写入
ALTER DATABASE FlushDiskDb SET DELAYED_DURABILITY = FORCED

执行写入
--纪录开始时间
DECLARE @START DATETIME = GETDATE();
--执行100,000笔写入
Declare @COUNT INT = 0;
WHILE (@COUNT < 100000)
BEGIN
SET @COUNT = @COUNT + 1
INSERT INTO t1
        VALUES (‘T‘ + CONVERT(VARCHAR, @COUNT))
END
--(4)打印执行时间
PRINT ‘execution time(millisecond):‘ + CONVERT(VARCHAR, DATEDIFF(ms, @START, getdate()))
执行时间: 1.3秒
?
查询log flush次数:
SELECT count(*)
FROM sys.fn_xe_file_target_read_file(‘C:tempdblogFlushEvent*.xet‘, null , null, null);

10万笔事务写入，Log Flush事件只增加了1.3 万次?
写入速度从25秒到1.3秒，飞快的完成10万笔数据写入，接近20倍的速度获利，很像 BulkCopy的无敌速度，F1中的延迟刹车果然强大。
虽然延迟了Log flush到Disk的时间，但实际观察log fush事件，大约在80秒后，全部的log也都写入磁盘了。
*如果用Process Monitor观察，也可以发现磁盘写入的活动不再这么频繁。

手动执行Flush log
sys.sp_flush_log
观察Log Size
DBCC SQLPERF(logspace)
Log只增加86(490-404)MB
?

弹性启用延迟持久性
在线上事务数据库的环境下要启用延迟持久性需要过人的勇气，但我们也还可以有另一个平衡的选择，用弹性的方式在事务层级启用。
只要在事务commit时加上语法: COMMIT TRANSACTION WITH (DELAYED_DURABILITY = ON);
--允许数据库内事务使用延迟写入
ALTER DATABASE FlushDiskDb SET DELAYED_DURABILITY = ALLOWED

--纪录开始时间
DECLARE @START DATETIME = GETDATE();
--执行100000笔写入
Declare @COUNT INT = 0;
WHILE (@COUNT < 100000)
BEGIN
SET @COUNT = @COUNT + 1
BEGIN TRANSACTION
INSERT INTO t1
        VALUES (‘T‘ + CONVERT(VARCHAR, @COUNT))

COMMIT TRANSACTION WITH (DELAYED_DURABILITY = ON);
END
--打印执行时间
PRINT ‘execution time(millisecond):‘ + CONVERT(VARCHAR, DATEDIFF(ms, @START, getdate()))

执行时间: 1.7秒
依然在秒间处理完毕!
?

批次写入(insert into select )的比较
此时来源数据表已经有30万笔数据了
?
先建立两个空的数据表，待会让实验组及对照组写入!
IF (object_id(‘t2‘)) is not null
DROP TABLE t2;
create table t2
(
   c1 int,
   c2 varchar(30)
)
IF (object_id(‘t3‘)) is not null
DROP TABLE t3;
create table t3
(
   c1 int,
   c2 varchar(30)
)
实验组:
--强制延迟写入
ALTER DATABASE FlushDiskDb SET DELAYED_DURABILITY = FORCED

DECLARE @START DATETIME = GETDATE();
INSERT INTO t2 select * FROM T1
PRINT ‘execution time(millisecond):‘ + CONVERT(VARCHAR, DATEDIFF(ms, @START, getdate()))
执行结果:
?

对照组:
--关闭延迟写入
ALTER DATABASE FlushDiskDb SET DELAYED_DURABILITY = DISABLED

DECLARE @START DATETIME = GETDATE();
INSERT INTO t3 select * FROM T1
PRINT ‘execution time(millisecond):‘ + CONVERT(VARCHAR, DATEDIFF(ms, @START, getdate()))
执行结果:
?
都是0.4秒的秒杀，整批导入数据情境下，看起来差异不大。

批次更新比较(Batch Update)
实验组
--强制延迟写入
ALTER DATABASE FlushDiskDb SET DELAYED_DURABILITY = FORCED

DECLARE @START DATETIME = GETDATE();
UPDATE t2 set c2 = ‘FORCED‘
PRINT ‘execution time(millisecond):‘ + CONVERT(VARCHAR, DATEDIFF(ms, @START, getdate()))
执行结果:
?

对照组
--关闭延迟写入
ALTER DATABASE FlushDiskDb SET DELAYED_DURABILITY = DISABLED

DECLARE @START DATETIME = GETDATE();
UPDATE t3 set c2 = ‘DISABLED‘
PRINT ‘execution time(millisecond):‘ + CONVERT(VARCHAR, DATEDIFF(ms, @START, getdate()))
执行结果:
?
5倍获利

数据库备份是否会触发log flush活动?
马上备份!
?
看起来还是有触发log flush
?

小结:
   ?   对于大量单笔事务有接近20倍的性能提升(1.3 vs 25秒)
   ?   对于整批更新的事务有5倍的性能提升(0.9秒 vs 5.4秒)。
   ?   如果数据库的复原模式只能选FULL，除了DELAYED_DURABILITY，也可以试试调校T-SQL语法或是AP架构让LOG的写入的数目压低。

很喜欢百敬老师说的性能调校两面刃，完整持久性与延迟持久性各有优缺点，使用Delayed Durability前，我们需要注意机器异常时所造成的Data loss，在可接受的特定事务中弹性使用是理想的选择。

Msdn警语:
如果不能容忍Data Loss，不建议使用Delayed Durability(If you cannot tolerate any data loss, you should not use delayed durability on your tables)

[SQL Server]内存缓存数据写入磁盘(三)延迟持久性Delayed Durability(和魔鬼交易)

标签：end alt 查点 ofo ediff ORC server 秒杀 creat

本文系统来源：https://www.cnblogs.com/yaoyangding/p/13051137.html

内容总结

以上是互联网集市为您收集整理的[SQL Server]内存缓存数据写入磁盘(三)延迟持久性Delayed Durability(和魔鬼交易)全部内容，希望文章能够帮你解决[SQL Server]内存缓存数据写入磁盘(三)延迟持久性Delayed Durability(和魔鬼交易)所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/523829.html

来源：【匿名】

【上一篇】缓存和数据库一致性问题【下一篇】屏蔽浏览器缓存另类方法

更多 ►

【[SQL Server]内存缓存数据写入磁盘(三)延迟持久性Delayed Durability(和魔鬼交易)】教程文章相关的互联网学习教程文章

遍历内存中的缓存

System.Web.Caching.Cache _cache = HttpRuntime.Cache; IDictionaryEnumerator CacheEnum = _cache.GetEnumerator();//ArrayList al = new ArrayList(); while (CacheEnum.MoveNext()) {//al.Add(CacheEnum.Key+"===="+CacheEnum.Value);Response.Write(CacheEnum.Key+"===="+CacheEnum.Value+"<br />"); } 原文：http://www.cnblogs.com/peterdys/p/4157318.html

Android内存优化之内存缓存

前言：在上一篇文章中介绍了内存缓存，内存缓存的优点就是很快，但是它又有缺点：空间小，内存缓存不可能很大；内存紧张时可能被清除；在应用退出时就会消失，做不到离线；基于以上的缺点有时候又需要另外一种缓存，那就是磁盘缓存。大家应该都用过新闻客户端，很多都有离线功能，功能的实现就是磁盘缓存。 DiskLruCache：在Android中用到的磁盘缓存大多都是基于DiskLruCache实现的，具体怎么使用呢？创建一个磁盘缓存对象：pub...

php内存缓存实现方法

本文实例讲述了php内存缓存实现方法。分享给大家供大家参考。具体如下：在php中缓存分为很多种类型如,内存缓存,文件缓存,页面缓存。本文要来讲述关于php中内存缓存的一些方法,这里我们将介绍Memcached缓存和php自带的APC缓存方法.1.Memcached缓存。memcached是高性能的分布式内存缓存服务器，通过缓存数据库查询结果,减少数据库访问次数,以提高动态Web应用的速度,memcached 使用了“Key=>Value”方式组织数据,可以允许不同主机上的...

浅谈checkpoint与内存缓存【代码】【图】

事务日志存在检查点checkpoint，把内存中脏数据库写入磁盘，以减少故障恢复的时间，在此之前有必要提下SQL Server内存到底存放了哪些数据？SQL Server内存使用对SQL Server数据库有一定了解的人一定知道，数据库为提高交互速度是将数据提取到内存缓冲区，然后客户端取内存的数据，内存中数据按用途分类具体可如下(1)database cache顾名思义，用于存放数据的缓冲区，用户修改某个数据时，SQL Server会修改内存中相应页面的数据，...

浅析MySQL内存的使用说明（全局缓存+线程缓存）

首先我们来看一个公式，MySQL中内存分为全局内存和线程内存两大部分（其实并不全部，只是影响比较大的部分）：复制代码代码如下:per_thread_buffers=(read_buffer_size+read_rnd_buffer_size+sort_buffer_size+thread_stack+join_buffer_size+binlog_cache_size+tmp_table_size)*max_connectionsglobal_buffers=innodb_buffer_pool_size+innodb_additional_mem_pool_size+innodb_log_buffer_size+key_buffer_size+query_cache_si...

内存泄露--contentView缓存使用与ListView优化【代码】【图】

引起Android内存泄露有很多种原因，下面罗列了一些问题，以后会一一解决1、构造Adapter时没有使用缓存convertView（衍生出ListView优化问题）2、查询数据库游标没有关闭3、Activity中生命周期对象大于Activity生命周期（关于Application Context与Activity Context）4、Bitmap对象不使用时没有recycle掉（这里还有其他解决方案）今天说的是第一种：如何使用缓存来优化ListView因为如果不使用缓存convertView的话，调用getView时每...

Java内存缓存工具实现 - Guava LoadingCache【代码】

一、Guava介绍Guava是Google guava中的一个内存缓存模块，用于将数据缓存到JVM内存中。实际项目开发中经常将一些公共或者常用的数据缓存起来方便快速访问。Guava Cache是单个应用运行时的本地缓存。它不把数据存放到文件或外部服务器。如果不符合需求，可以选择Memcached、Redis等工具。二、代码示例1. POM引入<dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>28.1-jre</version></depend...

内存管理_缓存一致性

计算机在执行程序时，每条指令都是在CPU中执行的，而执行指令过程中，涉及到数据的读取和写入。由于程序运行过程中的临时数据是存放在SRAM（物理内存）当中的，由于CPU执行速度很快，而从内存读取数据和向内存写入数据的过程跟CPU执行指令的速度比起来要慢的多，因此如果任何时候对数据的操作都要通过和内存的交互来进行，会大大降低指令执行的速度,因此在CPU里面就有了一级、二级Cache（DRAM）。也就是，当程序在运行过程中，会将...

Android之本地缓存——LruCache（内存缓存）与DiskLruCache（硬盘缓存）统一框架

本文参考郭霖大神的DiskLruCache解析，感兴趣的朋友可以先到http://blog.csdn.net/guolin_blog/article/details/28863651了解。一、前言该框架或者说库，主要是用于本地的图片缓存处理。数据的存入当你取到图片的元数据，会将数据存入硬盘缓存以及内存缓存中。数据的获取取数据的时候，先从内存缓存中取；如果没有取到，则从硬盘缓存中取（此时如果硬盘缓存有数据，硬盘缓存会重新将数据写入内存缓存中）；如果硬盘缓存中没有取到，...

redis--基于内存的高速缓存，NoSql的典型代表【代码】【图】

NoSql入门和概述入门概述为什么要使用NoSql？1.单机mysql的美好年代在早些年以前，那时候网站的访问量不大，用单个数据库完全可以应付。而且那个时候，绝大部分都是LAMP架构：Linux + Apache + Mysql + Php。而且当时很多都是静态网页，动态交互类型的网站不多，而且数据量也无法跟现在相比。但是放在现在这个数据量爆炸式增长的时代，上面的架构就出现了瓶颈。比如：数据量大到一台机器放不下了怎么办？数据的索引(B + Tree)一个机...

内存缓存机制and垃圾回收机制【代码】

一、内存缓存机制var_dump(memory_get_usage(true)); $a="laruence"; var_dump(memory_get_usage(true)); unset($a); var_dump(memory_get_usage(true));1.加上true之后，显示的三个相等的数代表php申请的内存大小，无论你是空着还是向里面存数据，都显示php申请的内存，当你存储的数据过大时，php会再申请一块新的内存进行扩充，这样就避免了php经常性的调用内存。2.所有php内存缓存机制是：php不是每次定义一个数据就申请一次内存...

centos 清理内存缓存

读写文件时，Linux内核为了提高读写效率与速度，会将文件在内存中进行缓存，这就是Cache Memory(缓存内存)。即使程序运行结束后，Cache Memory也不会自动释放。这就会导致程序频繁读写文件后，可用物理内存会很少。其实这缓存内存(Cache Memory)在你需要使用内存的时候会自动释放，所以不必担心没有内存可用。如果你希望手动去释放Cache Memory(缓存内存)的话也是有办法的。清理缓存（drop_caches）的官方文档：http://www.kernel....

单片机模块化程序: 数据缓存封包-内存管理实现

金钱草的功效与作用及食用方法PHP中文件缓存转内存缓存的方法

前言顾名思义文件缓存转内存缓存就是将存储在文件中的数据转到内存中去，实现磁盘操作转为内存操作，这样可以大大提高数据访问速度，并能实现缓存数据的分布式部署。文件缓存与内存缓存的介绍请参考名词解释部分。原理文件缓存转内存缓存的原理就是把文件缓存中的数据转存到内存中，以实现数据全局共享，解决频繁加载文件和装载数据的问题，采用Memcache工具实现内存缓存数据。实现机制与步骤1，检查文件是否存在内存缓存，如果...

PHP内存缓存memcached模块安装与用法

# tar -xzf libevent-1.1a.tar.gz # cd libevent-1.1a # ./configure --prefix=/usr # make # make install # cd .. # tar -xzf memcached-1.1.12.tar.gz # cd memcached-1.1.12 # ./configure --prefix=/usr # make # make install安装完成之后，memcached 应该在 /usr/bin/memcached。三、运行 memcached 守护程序运行 memcached 守护程序很简单，只需一个命令行即可，不需要修改任何配置文件（也没有配置文件给你修改）：/usr/b...

缓存 - 最热教程

微信小程序如何修改本地缓存key中单个数...Yii清理缓存的方法_PHP .Net 性能优化--缓存--分布式缓存 --sq...SQL Server 缓存清除与内存释放详解微信小程序缓存--缓存时效性 Ajax清除浏览器js、css、图片缓存的方法 node.js利用redis数据库缓存数据 Apache缓存相关配置_PHP教程 [apicloud缓存和数据库同步]APICloud 获...Java servlet如何禁用页面缓存

首页 / 缓存 / [SQL Server]内存缓存数据写入磁盘(三)延迟持久性Delayed Durability(和魔鬼交易)

[SQL Server]内存缓存数据写入磁盘(三)延迟持久性Delayed Durability(和魔鬼交易)

内容导读

内容图文

内容总结

内容备注

内容手机端

【[SQL Server]内存缓存数据写入磁盘(三)延迟持久性Delayed Durability(和魔鬼交易)】教程文章相关的互联网学习教程文章

遍历内存中的缓存

Android内存优化之内存缓存

php内存缓存实现方法

浅谈checkpoint与内存缓存【代码】【图】

浅析MySQL内存的使用说明（全局缓存+线程缓存）

内存泄露--contentView缓存使用与ListView优化【代码】【图】

Java内存缓存工具实现 - Guava LoadingCache【代码】

内存管理_缓存一致性

Android之本地缓存——LruCache（内存缓存）与DiskLruCache（硬盘缓存）统一框架

redis--基于内存的高速缓存，NoSql的典型代表【代码】【图】

内存缓存机制and垃圾回收机制【代码】

centos 清理内存缓存

单片机模块化程序: 数据缓存封包-内存管理实现

金钱草的功效与作用及食用方法PHP中文件缓存转内存缓存的方法

PHP内存缓存memcached模块安装与用法

SERVER - 相关标签

SQL - 相关标签

缓存 - 相关标签

缓存 - 最新教程

缓存 - 最热教程