spark-sql 架构 图1 图1是sparksql的执行架构，主要包括逻辑计划和物理计划几个阶段，下面对流程详细分析。 sql执行流程 总体流程parser；基于antlr框架对 sql解析，生成抽象语法树 变量替换，通过正则表达式找出符合规则的字符串，替换成系统缓存环境的变量SQLConf中的`spark.sql.variable.substitute`，默认是可用的；参考` SparkSqlParser`parser；将antlr的tree转成spark catalyst的LogicPlan也就是unresolve logical plan...
这里我们不考虑代码的移植过程，仅仅分析它的架构的层次结构。 我认为，freemodbus协议实际上是分了三个层次的 1. 应用层（或者说暴露给应用层的接口）： 接口定义全部在头文件mb.h中包含，在mb.c中实现。 包括了移植时不需要改动的部分（一些初始化，使能，poll等），还有需要修改或者说实现的部分（寄存器操作等）。 而且在初始化中通过回调函数指向了第二层的函数接口，相当于为整个程序提供了统...
一、背景和目的：由于目前App前端业务测试很少关注后端网络接口的异常情况，客户端QA在项目测试时往往局限于关注测试功能，导致测试粒度较粗。即使按照CheckList过功能点，客户端QA对后端接口的覆盖情况也很难做到明确把握。Fiddler是我们在客户端测试时使用比较普遍的工具，常用于HTTP抓包、构造请求等等。原生的fiddler插件，缺乏对包大小，网络请求时长、接口访问频次、接口覆盖度等维度进行网络请求的分析，同时提供网速控制的...
云计算概述 1 传统数据中心面临的问题1.1 网络设备（这里主要指的是服务器）资源利用率过低，导致资源浪费。众所周知，服务器的性能相对较好，但是在传统的物理架构中，对服务器的使用无非是在服务器上安装一个操作系统（别扯多系统，在服务器上无意义）。然后在服务器上跑点服务，比如Apache、数据库或其他。在大多数情况下，服务器的资源是空闲的，这也就意味着浪费。那么有人问了，为什么不买低配的服务器呢？这样又省钱又不会浪...
开头 消息队列 RocketMQ 是阿里巴巴集团基于高可用分布式集群技术，自主研发的云正式商用的专业消息中间件，既可为分布式应用系统提供异步解耦和削峰填谷的能力，同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性，是阿里巴巴双 11 使用的核心产品。 6月初偶然从朋友那里得到一份纯手打“RocketMQ笔记”（貌似全网都没有这份学习笔记，中大奖了，哈哈哈），花了十天时间刷了第一遍，感觉挺不错的，今天拿出来献个宝...
黄金行情走势分析： 金价周三走高，现货黄金一度涨逾1%，刷新3月1日以来高点至1751.65美元/盎司，此前美联储官员继续预期基准利率至少在2023年底之前都将接近零，尽管他们上调经济展望以反映出对美国经济复苏的更乐观情绪。美元在联邦公开市场委员会政策声明公布后下跌提振了金价。美联储声明称，复苏步伐放缓之后，经济活动和就业指标最近有所上升，但受疫情影响最严重的行业仍然表现疲弱。美联储并预计今年通货膨胀率的上升将是短...
@lonelyrains 出品。转载请注明出处。 文章链接： http://blog.csdn.net/lonelyrains/article/details/44225533上一篇为 bug统计分析初步本篇重点讨论基于sql的bug统计分析方法。1、与时间和状态的关系： 1）考察每一个时间单位（年、月、日）产生的bug量 2）考察每一个时间单位（年、月、日）解决的bug量3）考察每一个时间单位（年、月、日）遗留的bug量 4）考察每一个bug遗留的时间单位（年、月、日） 5）考察平均bug遗留的时间...
前言 我思故我在 ArrayList的简介 1，ArrayList 的底层是数组队列，相当于动态数组。与 Java 中的数组相比，它的容量能动态增长。在添加大量元素前，应用程序可以使用ensureCapacityXXX 方法来操作来增加 ArrayList 实例的容量。这可以减少递增式再分配的数量。 2，它继承了AbstractList，实现了 List, RandomAccess, Cloneable, java.io.Serializable 这些接口。 3，插入删除元素的时间复杂度为O（n）,求表长以及增加元素，取第 i...
FFmpeg是相当强大的多媒体编解码框架，在深入分析其源代码之前必须要有基本的多媒 体基础知识，否则其源代码会非常晦涩难懂。本文将从介绍一些基本的多媒体只是，主要是为研读ffmpeg源代码做准备，比如一些编解码部分，只有真正了解 了多媒体处理的基本流程，研读ffmpeg源代码才能事半功倍。 下面分析一下多媒体中最基本最核心的视频解码过程，平常我们从网上下载一部电影或者一首 歌曲，那么相应的多媒体播放器为我们做好了一切工...
设想和目标虽然我们是从零开始的一个自定义项目，但语音Coding助手从一开始的设计与目标就很明确：加入语音接口使其能在shell端实现命令语音实现以及编辑运行脚本，设计前端编辑器并将后端shell与编辑器结合起来形成一个完整的项目，完善功能以及实现英文听写......而我们以及跨过了alpha阶段正在逐步着手下一阶段的工作和任务。而在每天的Scrum Meeting中我们又会不断地提出新的需求与需要解决的问题，但并不会使我们项目的整体主...
CPU指标Average load上一分钟同时处于“就绪”状态的平均进程数，< CPU个数 * 核心数 * 0.7CPU utilizationCPU 的使用时间百分比，如果在75%以上，则可以考虑换CPU了Swap-in rate正在交换的进程数 Swap-out rate正在交换的进程数Context switches rate每秒钟在进程或线程之间的切换次数System mode CPU utilization在系统模式下使用 CPU 的时间百分比User mode CPU utilization在用户模式下使用 CPU 的时间百分比Interrupt rate 每...
摘要: 作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 这几天想cat一下某天的HDFS文件内容的时候突然报Cannot obtain block length for LocatedBlock异常，get也一样，这样无法访问hdfs文件的问题必须解决，Mark一下问题背景和解决过程 一.问题背景 问题产生的原因可能是由于前几日Hadoop集群维护的时候，基础运维组操作不当，先关闭的Hadoop集群，然后才关闭的Flume agent导致的hdfs文件写入后状态不一致。...
超高维度分析，N*P的矩阵，N为样本个数，P为指标，N<<PPCA:抓住对y对重要的影响因素主要有三种：PCA,因子分析，回归方程+惩罚函数（如LASSO） 为了降维，用更少的变量解决问题，如果是二维的，那么就是找到一条线，要使这些点再线上的投影最大，投影最大，就是越分散，就考虑方差最大。 > conomy<-data.frame( + x1=c(149.3, 161.2, 171.5, 175.5, 180.8, 190.7, + 202.1, 212.4, 226.1, 231.9, 239.0), + x2=c(4.2, 4...
ROW_NUMBER()，RANK()，DENSE_RANK()，NTILE()最近写了近半个月的成绩统计服务 ， 被SQL折磨半死，下面介绍下在SQL成绩统计分析中遇到的一些小问题，首先介绍下成绩分析中经常遇到的问题 就是排名问题，这里就不得不提到SQL中的ROW_NUMBER()，RANK()，DENSE_RANK()，NTILE()这四个好兄弟了，下面一一揭开它们神秘的面纱：首先create一个学生成绩表(studentScore) 不多做介绍了如下1.ROW_NUMBER()定义：ROW_NUMBER()函数作用就是将s...
需求分析由于程序需要在Windows平台和Linux平台都能运行，因此对代码的可移植性有一定的要求由于需要对文件夹进行遍历，因此数据量相对较大，需要选择合适的数据结构，在此项目中，树和哈希表都是可供选择的数据结构由于对字符串的处理很多，因此需要选择一种合适的字符串表达方式，char* or string?代码规范 核心要求：用代码做到“卒章显志”的作用，代码能说清楚的事情就不要用注释，注释仅提示思路或者注意事项。因此变量名...