看了一篇网友日志，感觉工作中值得借鉴，原文如下： 事故描述在一次项目中，上线了一新功能之后，陆陆续续的有客服向我们反应，有用户的个别道具数量高达42亿，但是当时一直没有到证据表示这是，确实存在，并且直觉告诉我们，这是不可能的，就一直没有在意，直到后来真的发现了一个用户确实是42亿，当时我们整个公司都震惊了，如果有大量用户是这样的情况，公司要亏损几十万，我们的老大告诉我们，肯定是什么地方数据溢出的，最后我...
分享是一种精神，与技术高低无关！ 图片缩略图动态生成- [代码编程]2011-08-23版权声明：转载时请以超链接形式标明文章原始出处和作者信息及本声明http://www.blogbus.com/addcn-logs/157496890.html整理下网站缩略图水印图动态生成的方法：会员上传图片后，调用图片的各地方需要的尺寸不全一样，需要生成大小不同的等比例缩略图。实现方法是nginx判断，请求的缩略图规则url中，如果图片不存在则调用php程序以原始图片生成对应的缩...
以购买商品举例：① 从数据库获取库存的数量。② 检查一下库存的数量是否充足。③ 库存的数量减去买家购买的数量(以每个用户购买一个为例)。④ 最后完成购买。仅仅这几行逻辑代码在并发的情况下会出现问题，自己可以想象一下。这里暂时就不测试了，下面会针对并发的处理给出测试结果。创建表：CREATE TABLE `warehouse` (`id` int(11) NOT NULL AUTO_INCREMENT COMMENT ‘id‘,`stock` int(11) NOT NULL DEFAULT ‘0‘ COMMENT ‘库...
页面静态化使用模板引擎可以使用Smarty的缓存机制生成静态HTML缓存文件$smarty->cachedir=$ROOT·"/cache"；//缓存目录 $smarty->caching=true；//是否开启缓存 $smarty->cachelifetime="3600"；//缓存时间 $smarty->display(string template[,string cache_id[,string compile_id]])； $smarty->clear_all_cache();//清除所有缓存 $smarty->clear_cache('file.html');//清除指定的缓存 $smarty->clear_cache('article.html',$art_i...
PHP-php-fpm配置优化前言: 1.少安装PHP模块, 费内存 2.调高linux内核打开文件数量，可以使用这些命令(必须是root帐号)(我是修改/etc/rc.local，加入ulimit -SHn 51200的)echo `ulimit -HSn 65536` >> /etc/profile echo `ulimit -HSn 65536` >> /etc/rc.local source /etc/profile 如果`ulimit -n`数量依旧不多(即上面配置没生效)的话, 可以在 /etc/security/limits.conf 文件最后加上* soft nofile 51200 * hard nofile...
我们常用QPS（Query Per Second，每秒处理请求数）来衡量一个web应用的吞吐率，解决每秒数万次的高并发场景，这个指标非常关键。举个栗子：假设一个业务请求平均为100ms，同时系统内有20台apache web服务器，MaxClients（apache的最大连接数）设置为500，那么理论QPS峰值就是20*500/0.1=100000（理论与实际肯定有差异）。这系统貌似理论上来说很强大1秒钟处理100000个请求，实际当然没有这么理想。在高并发的实际场景下，机器都处于...
我们通常衡量一个Web系统的吞吐率的指标是QPS（Query Per Second，每秒处理请求数），解决每秒数万次的高并发场景，这个指标非常关键。举个例子，我们假设处理一个业务请求平均响应时间为100ms，同时，系统内有20台Apache的Web服务器，配置MaxClients为500个（表示Apache的最大连接数目）。 那么，我们的Web系统的理论峰值QPS为（理想化的计算方式）：20*500/0.1 = 100000 （10万QPS）咦？我们的系统似乎很强大，1秒钟可以处理完10...
需求背景：有个调用统计日志存储和统计需求，要求存储到mysql中；存储数据高峰能达到日均千万，瓶颈在于直接入库并发太高，可能会把mysql干垮。 问题分析 思考：应用网站架构的衍化过程中，应用最新的框架和工具技术固然是最优选择；但是，如果能在现有的框架的基础上提出简单可依赖的解决方案，未尝不是一种提升自我的尝试。解决： 问题一：要求日志最好入库；但是，直接入库mysql确实扛不住，批量入库没有问题，...
php浏览器缓存解决高并发我在页面头部这样写了一个缓存，$cache_time = 60*10; //十分钟缓存$modified_time = @$_SERVER['HTTP_IF_MODIFIED_SINCE']; if( strtotime($modified_time)+$cache_time > time() ){ header("HTTP/1.1 304"); exit; } header("Last-Modified: ".gmdate("D, d M Y H:i:s", time() )." GMT"); echo "";echo date('Y-m-d H:i:s',time()); ?>问题一：浏览器在这十分钟之内只会从浏览器去取数据；问题...
php浏览器缓存解决高并发我在页面头部这样写了一个缓存，$cache_time = 60*10; //十分钟缓存$modified_time = @$_SERVER['HTTP_IF_MODIFIED_SINCE']; if( strtotime($modified_time)+$cache_time > time() ){ header("HTTP/1.1 304"); exit; } header("Last-Modified: ".gmdate("D, d M Y H:i:s", time() )." GMT"); echo "";echo date('Y-m-d H:i:s',time()); ?>问题一：浏览器在这十分钟之内只会从浏览器去取数据；问题...
公司做抽奖或者红包活动，总有人恶意大访问量请求，查询mysql去做重复验证在大并发上限制不住，总会有重复插入，会造成多发奖品。想用redis做mysql的缓存，但是现在遇到的问题是如何把redis的数据写回mysql，不可能每次校验的时候就写回mysql，那样的话根本没有解决问题。现在的想法是能否利用php，或者其他什么技术，定时将redis中的数据写回mysql。程序只与redis交互。希望能给出具体的逻辑或者解决方案，网上的回答都太笼统了，...
项目是万级并发，数据量达到千万的级别，架构是LNMP，外带一个redis和opcode。 像缓存（redis），数据库配置（MySQL），服务器配置（linux的系统配置），这些是在开发过程中就加入到项目里面，还是等到项目完成后再重构呢？在这之中如何权衡呢？ 我顾虑是：如果在项目过程中就加入缓存（redis），那么我调试过程中不就遇到很多难题了嘛？例如数据同步不一致，代码修改了没反应。但如果是在项目完成后再重构，成本好像有些大？ 有经...
日常编程中，对于一些有一定并发量或数据量较高的数据库操作，我们都会在前端加一层缓存层，并设置失效时间，现在一般是mongoDB或memcached，简单流程如下：这个模式在并发量并非太高或数据操作效率很高的情况下基本没有什么问题。但是也许你已经看到了，if(缓存失效 && 恰好遇到并发量很高 && 数据库操作时间长) then？ 1. 缓存失效 2. 第一个进程去数据库获取新数据，假如包括SQL+程序逻辑耗时5S 3. 这5S内，第二个、第三个.....
本文系统来源：http://www.cnblogs.com/ygw1010/p/7452140.html
问题分析思考：应用网站架构的衍化过程中，应用最新的框架和工具技术固然是最优选择；但是，如果能在现有的框架的基础上提出简单可依赖的解决方案，未尝不是一种提升自我的尝试。解决：问题一：要求日志最好入库；但是，直接入库mysql确实扛不住，批量入库没有问题，done。问题二：批量入库就需要有高并发的消息队列，决定采用redis list 仿真实现，而且方便回滚。问题三：日志量毕竟大，保存最近30条足矣，决定用php写个离线统计和...