首页 / LUA / 通过Nginx/Lua给Redis的PIPELINING减肥

通过Nginx/Lua给Redis的PIPELINING减肥

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了通过Nginx/Lua给Redis的PIPELINING减肥，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5395字，纯文字阅读大概需要8分钟。

内容图文

某手机应用市场项目，其中请求量最大的功能是查询升级接口，具体点来说：客户端会不定期的把手机中应用名称及其应用版本发送到服务端，服务端通过比较版本来判断客户端的应用是否需要升级，如果需要就返回若干项相关信息。通常，一台手机里会装几十个到上百

某手机应用市场项目，其中请求量最大的功能是查询升级接口，具体点来说：客户端会不定期的把手机中应用名称及其应用版本发送到服务端，服务端通过比较版本来判断客户端的应用是否需要升级，如果需要就返回若干项相关信息。通常，一台手机里会装几十个到上百个应用不等，当海量客户端一起请求时，服务端的压力可想而知。

客户端请求的数据格式如下所示，可以采用GET或POST方法：

packages=foo|1&packages=bar|2&packages=|&...

服务端选择Lua作为编程语言，同时利用了Redis的PIPELINING机制批量查询数据：

local redis = require "resty.redis"
local cjson = require "cjson"
local config = require "config"
ngx.header["Content-Type"] = "application/json; charset=utf-8"
local args = ngx.req.get_uri_args(1000)
if ngx.var.request_method == "POST" then
    ngx.req.read_body()
    for key, val in pairs(ngx.req.get_post_args(1000)) do
        args[key] = val
    end
end
if type(args["packages"]) == "string" then
    args["packages"] = {args["packages"]}
end
if type(args["packages"]) ~= "table" then
    ngx.exit(ngx.HTTP_BAD_REQUEST)
end
local cache = redis.new()
local res, err = cache:connect(config.host, config.port)
if not res then
    ngx.log(ngx.ERR, "error: ", err)
    ngx.exit(ngx.HTTP_SERVICE_UNAVAILABLE)
end
cache:init_pipeline()
local packages = {}
for _, val in ipairs(args["packages"]) do
    if type(val) == "string" then
        local name, version = string.match(val, "([^|]+)|([0-9]+)")
        if name and version then
            packages[name] = tonumber(version)
            cache:hget(name, "all")
        end
    end
end
local res, err = cache:commit_pipeline()
if not res then
    ngx.log(ngx.ERR, "error: ", err)
    ngx.exit(ngx.HTTP_SERVICE_UNAVAILABLE)
end
local data = {}
for _, val in ipairs(res) do
    if type(val) == "string" then
        val = cjson.decode(val)
        if packages[val["name"]] < val["version"] then
            data[#data + 1] = val
        end
    end
end
ngx.say(cjson.encode(data))

补充：应用的数据作为HASH保存在Redis里，不过由于HGETALL非常耗费CPU，所以做了些处理：冗余保存了一个名为「all」的字段，用来保存原始数据的JSON编码，如此一来，就把复杂度为O(N)的HGETALL操作转化成了复杂度为O(1)的HGET操作，从而提升了效率。详细介绍请参考：《记Redis那坑人的HGETALL》。

如上代码平稳运行了一段时间，但随着访问量的增加，开始暴露问题：Redis时不时出现卡住的现象，究其原因就是单线程的Redis无法承载过大的PIPELINING请求。通常我们都是采用多实例的方法来规避Redis单线程的性能瓶颈问题，但在本例中，由于PIPELING很大，不是随便冗余几个实例就能解决问题，同时系统也没有太多的内存可用。

最后我们想到的办法是利用Nginx/Lua给Redis的PIPELINING减肥，具体一点来说：当客户端查询升级接口时，虽然会把多至上百个应用的信息同时发送到服务端，但其中真正升级的应用却很少，如果我们能把那些不升级的应用过滤掉，只查询升级的应用，无疑将大大提升系统的性能，形象一点说：当一个胖子请求经过过滤后，就变成了一个瘦子请求。实际操作时，我们可以把应用的版本缓存到Nginx/Lua共享内存里，客户端请求先在Nginx/Lua共享内存过滤一次，然后再判断是否需要查询Redis。

为了使用共享内存，需要在Nginx配置文件中声明：

lua_shared_dict versions 100m;

改良后的代码如下所示，注意其中共享内存的查询和设置部分的代码：

local redis = require "resty.redis"
local cjson = require "cjson"
local config = require "config"
local versions = ngx.shared.versions;
ngx.header["Content-Type"] = "application/json; charset=utf-8"
local args = ngx.req.get_uri_args(1000)
if ngx.var.request_method == "POST" then
    ngx.req.read_body()
    for key, val in pairs(ngx.req.get_post_args(1000)) do
        args[key] = val
    end
end
if type(args["packages"]) == "string" then
    args["packages"] = {args["packages"]}
end
if type(args["packages"]) ~= "table" then
    ngx.exit(ngx.HTTP_BAD_REQUEST)
end
local cache = redis.new()
local res, err = cache:connect(config.host, config.port)
if not res then
    ngx.log(ngx.ERR, "error: ", err)
    ngx.exit(ngx.HTTP_SERVICE_UNAVAILABLE)
end
cache:init_pipeline()
local packages = {}
for _, val in ipairs(args["packages"]) do
    if type(val) == "string" then
        local name, version = string.match(val, "([^|]+)|([0-9]+)")
        if name and version then
            version = tonumber(version)
            if not versions[name] or versions[name] > version then
                packages[name] = version
                cache:hget(name, "all")
            end
        end
    end
end
local res, err = cache:commit_pipeline()
if not res then
    ngx.log(ngx.ERR, "error: ", err)
    ngx.exit(ngx.HTTP_SERVICE_UNAVAILABLE)
end
local data = {}
for _, val in ipairs(res) do
    if type(val) == "string" then
        val = cjson.decode(val)
        if packages[val["name"]] < val["version"] then
            data[#data + 1] = val
        end
        local timeout = math.random(600, 1200)
        versions:set(val["name"], val["version"], timeout)
        packages[val["name"]] = nil
    end
end
for name in pair(packages) do
    versions:set(name, -1, 1800)
end
ngx.say(cjson.encode(data))

或许会有人会质疑：本质上请求量并没有减少啊，只是从Redis转嫁到了Nginx而已，这样就能提升性能么？问题的关键在于Redis是单线程的，而Nginx通过worker_processes指令，可以充分发挥多核CPU的能力，所以性能总体是提升的。

补充：代码里在设置共享内存过期时间的时候，没有采用固定值，而是采用了一个随机数的方式，之所以这样设计，是为了避免大量数据同时过期，系统性能出现抖动。

…

当然，随着访问量的增加，本文的方案可能还会出现问题，到时候怎么办呢？其实类似查询升级之类的功能，就不应该设计成同步的形式，如果能改成异步的方式，那么多数问题就都不存在了，不过这个就不多言了，现在的方案刚刚好够用。

原文地址：通过Nginx/Lua给Redis的PIPELINING减肥, 感谢原作者分享。

内容总结

以上是互联网集市为您收集整理的通过Nginx/Lua给Redis的PIPELINING减肥全部内容，希望文章能够帮你解决通过Nginx/Lua给Redis的PIPELINING减肥所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/556835.html

来源：【匿名】

【上一篇】Redis中使用Lua脚本的开发思路【下一篇】Nginx编译安装Lua模块

更多 ►

【通过Nginx/Lua给Redis的PIPELINING减肥】教程文章相关的互联网学习教程文章

redis分布式锁-lua脚本【代码】

package com.tuling.jedis;import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoolConfig;import java.io.IOException; import java.util.Arrays;/*** 访问redis单机** @author*/publicclass JedisSingleTest {publicstaticvoid main(String[] args) throws IOException {JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();jedisPoolConfig.setMaxTotal(20);jedi...

nginx+lua+redis构建高并发应用

ngx_lua将lua嵌入到nginx，让nginx执行lua脚本，高并发，非阻塞的处理各种请求。url请求nginx服务器，然后lua查询redis，返回json数据。一.安装lua-nginx-module参见《LNMLGC》架构二.安装redis2-nginx-module模块get https://github.com/openresty/echo-nginx-module get https://github.com/openresty/redis2-nginx-module get https://github.com/agentzh/set-misc-nginx-module.git # ./configure --prefix=/usr/local/nginx ...

redis lua script 相关

脚本的执行是原子性的，当某个脚本正在运行的时候，不会有其他脚本或redis命令被执行。这意味着运行一个缓慢的脚本并不是一个好主意，当运行脚本时，其他的客户端会认为服务器忙。共有6个lua脚本相关的命令： 1. eval 可以对输入的脚本求值： EVAL script numkeys key [key ...] arg [arg ...] numkeys 参数用于指定键名参数的个数，键名参数key[key...] 从 EVAL 的第三个参数开始算起，表示在脚本中所...

简介Lua脚本与Redis数据库的结合使用

可能你已经听说过Redis 中嵌入了脚本语言，但是你还没有亲自去尝试吧？这个入门教程会让你学会在你的Redis 服务器上使用强大的lua语言。 Hello, Lua!我们的第一个Redis Lua 脚本仅仅返回一个字符串，而不会去与redis 以任何有意义的方式交互。复制代码代码如下:local msg = "Hello, world!" return msg这是非常简单的，第一行代码定义了一个本地变量msg存储我们的信息，第二行代码表示从redis 服务端返回msg的值给客户端。保...

Redis执行Lua脚本的情况【代码】

第一个测试：往Redis里面存入1000个Hash，每个Hash里面有100个元素(Key 0-99，值是Key^2)。PHP代码，执行3s+ ~ 4s+<?php$redis = new Redis(); $redis->connect(‘127.0.0.1‘, 6379); $redis->select(1); for ($a = 0; $a < 1000; $a++) {for ($b = 0; $b < 100; $b ++)$redis->hSet($a, $b, $b*$b); }Lua脚本执行非常快，几乎是1s内完成的local a = 0while(a < 1000) dolocal b = 0while(b < 100)doredis.call(‘hset‘, a, b, b...

redis 对lua 脚本传出类型的理解

Lua 到 Redis 的转换表。Lua number -> Redis integer reply (the number is converted into an integer)Lua string -> Redis bulk replyLua table (array) -> Redis multi bulk reply (truncated to the first nil inside the Lua array if any)Lua table with a single ok field -> Redis status replyLua table with a single err field -> Redis error replyLua boolean false -> Redis Nil bulk reply.总结 redis 只认lua的nu...

Redis Lua编程与调试工具ZeroBrane Studio使用【图】

最近使用lua脚本进行redis数据库操作，调试基本靠猜，无奈搜索所有资料终于遇到，分享给大家1、首先下载调试Lua所需的IDE，地址在这2、解压到你安装位置，绿色版为之你可以随意，不要中文路径冲突就好3、下载插件链接：https://pan.baidu.com/s/1pKZCf4WJ_uGlcYbw3jXerw 提取码：bt69 4、拷贝到packages下面位置5、打开studio，project->lua interpreter->redis 6、project->Command Line Parameters……，输入lua参数 7、...

分布式缓存redis、lua优化、单品限流、购买限制、抢购方法幂、抢购失败回滚、雪花算法、IP限流防刷

分布式缓存redis 参考： Redis中文官方网站主要作用在多台服务器做集群是共享内存此项目是在秒杀聚合服务做集群时用来存储库存 lua优化单品限流购买限制抢购方法幂抢购失败回滚雪花算法 IP限流防刷

.Net Core使用分布式缓存Redis：Lua脚本【代码】

一、前言运行环境window，redis版本3.2.1。此处暂不对Lua进行详细讲解，只从Redis的方面讲解。二、Redis的Lua脚本在Redis的2.6版本推出了脚本功能，允许开发者使用Lua语言编写脚本传到Redis中执行，在Lua脚本中也可以调用大部分的Redis命令。使用脚本有以下三个好处：(1) 减少网络开销：有些时候需要多次请求Redis获取处理数据，而使用脚本功能就可以只使用一次请求完成相同操作，减少了网络往返时延。(2) 原子操作：Redis会将整个...

jenkins 安装部署项目，rabbitmq 安装、nginx 安装、ngix Lua脚本 redis 实现自动封禁高频率访问IP 笔记

开发过程中一些工具的安装使用笔记。。。。。一、jenkins 安装部署项目（码云为例Gitee）：参考：https://blog.csdn.net/shuizhihun07/article/details/80168076 1. 安装 jdk 、maven、git jenkins 并设置环境变量 2. 安装完成后启动：首次启动报如下错误： Starting Jenkins bash: /usr/bin/java: No such file or directory 解决方法：添加java依赖：修改/etc/init.d/jenkins 配置文件，在candidates 第一行加...

redis源码分析之十八Lua脚本【代码】【图】

一、Lua和Redis 这篇其实和Redis本身的源码关系不是太大了，主要是看一下对REDIS的支持。Lua可能好多人都没有听说过，但是如果搞过网游的人，估计都用过，做为一种胶水语言，Lua对C/C++的支持非常友好，这是一般的脚本语言都没有做到的。它很小很轻量，所以非常容易与其它程序集成。在魔兽和仙剑等游戏中都广泛使用。 Lua的缺点也很明显，对开发支持的力度不大，功能也少，功能少，就意味着如果搞复杂或者大的东西需要自己实现轮子...

快速入门Redis调用Lua脚本及使用场景介绍【代码】【图】

Redis 是一种非常流行的内存数据库，常用于数据缓存与高频数据存储。大多数开发人员可能听说过redis可以运行 Lua 脚本，但是可能不知道redis在什么情况下需要使用到Lua脚本。一、阅读本文前置条件可以遵循这个链接中的方法在操作系统上安装 Redis 如果你对redis命令不熟悉，查看《Redis 命令引用》二、为什么需要Lua脚本简而言之：Lua脚本带来性能的提升。很多应用的服务任务包含多步redis操作以及使用多个redis命令，这时你可以使...

使用redis调用lua脚本的方式对接口进行限流【代码】

java端实现： //初始化一个redis可执行的luaDefaultRedisScript<List> defaultRedisScript = new DefaultRedisScript<List>();defaultRedisScript.setResultType(List.class);defaultRedisScript.setScriptSource(new ResourceScriptSource(new ClassPathResource("redis_limit.lua")));List<String> key = new ArrayList<>();//这里虽然使用List集合，但是暂时只存储一个值（Key+时间戳）List<String> args = Lists.newArrayLis...

redis配置文件详解2：安全、客户端、内存管理、lazyfree、AOF、lua脚本

################################## SECURITY ################################### # Require clients to issue AUTH <PASSWORD> before processing any other# commands. This might be useful in environments in which you do not trust# others with access to the host running redis-server.## This should stay commented out for backward compatibility and because most# people do not need auth (e.g. they run thei...

如何在Redis实现Lua脚本事务？

从很多方面来看，Redis 很像当初采用 InnoDB 前的 MySQL。而 Redis 采用了一种很合理的方式来保证数据完整性(复制，AOF 等)，并且在刚过去的几个月中，我一直在构思并尝试在 redis 中实现 lua 脚本的事务功能。没有多少人理解我的想法，所以我将通过一些历史为大家做下解释。MySQL 与 Postgres在 1998-2003 年间，如果你想运行一个正规的数据库驱动的网站/服务，但又没有足够的资金购买微软或 Oracle 的数据库，你可以选择 MySQL ...

LUA - 最热教程

盘点一下lua脚本和python的区别(基础)nginx+ngx_lua安装测试 Python和Lua的默认作用域以及闭包 Nginx LUA,如何输出文件？OpenResty：使用已经给定的/etc/nginx/...redis命令行执行lua脚本 Visual Studio 2019 编译调试lua源代码！！！注意区分 lua table 变量的【原...nginx 增加 lua模块在Nginx上使用Lua重定向到相同的URL(op...

首页 / LUA / 通过Nginx/Lua给Redis的PIPELINING减肥

通过Nginx/Lua给Redis的PIPELINING减肥

内容导读

内容图文

内容总结

内容备注

内容手机端

【通过Nginx/Lua给Redis的PIPELINING减肥】教程文章相关的互联网学习教程文章

redis分布式锁-lua脚本【代码】

nginx+lua+redis构建高并发应用

redis lua script 相关

简介Lua脚本与Redis数据库的结合使用

Redis执行Lua脚本的情况【代码】

redis 对lua 脚本传出类型的理解

Redis Lua编程与调试工具ZeroBrane Studio使用【图】

分布式缓存redis、lua优化、单品限流、购买限制、抢购方法幂、抢购失败回滚、雪花算法、IP限流防刷

.Net Core使用分布式缓存Redis：Lua脚本【代码】

jenkins 安装部署项目，rabbitmq 安装、nginx 安装、ngix Lua脚本 redis 实现自动封禁高频率访问IP 笔记

redis源码分析之十八Lua脚本【代码】【图】

快速入门Redis调用Lua脚本及使用场景介绍【代码】【图】

使用redis调用lua脚本的方式对接口进行限流【代码】

redis配置文件详解2：安全、客户端、内存管理、lazyfree、AOF、lua脚本

如何在Redis实现Lua脚本事务？

REDIS - 相关标签

NGINX - 相关标签

LUA - 最新教程

LUA - 最热教程