一、概述JSON的全称是”JavaScript Object Notation”，意思是JavaScript对象表示法，它是一种基于文本，独立于语言的轻量级数据交换格式。XML也是一种数据交换格式，为什么没 有选择XML呢？因为XML虽然可以作为跨平台的数据交换格式，但是在JS(JavaScript的简写)中处理XML非常不方便，同时XML标记比数据 多，增加了交换产生的流量，而JSON没有附加的任何标记，在JS中可作为对象处理，所以我们更倾向于选择JSON来交换数据。这篇文章...
导读 随着大数据时代的跨入，对测试人员的要求又提升到了一个新高度，这个高度让一部分测试人员感到措手不及，甚至对未来产生了迷茫。 1、如何做到与时俱进 2、如何让自己成为一个优秀的测试人员 3、如何转变自己的思考方式 4、如何让技术能够有一个质的飞越 …… 每一个测试人员在这个时代都应该认真思考，但仅仅思考并不能解决所有问题，如何做才是关键。 1、大数据思维 大数据，已经成为了一个时代的...
1：基础语法->ASCII编码表计算机的世界，01->二进制全世界有多少个国家?每个国家用什么语句? 全世界都在使用计算机。美国：计算机可以直接识别人类的文字字母a对应的十进制为97，大写的字母A对应的十进制是65美国佬：a-z A-Z 0-9 !@#$%等a->在硬盘当中存储并不是a，是a对应值97的二进制常用的ASCII编码表:数字0-9对应的ASCII编码十进制为48-57，字母a-z对应的是97-122，字母A-Z对应的是65-90.中国：开始做自己的编...
Python和HDF 5大数据应用秉着CSDN赚积分的原则(被逼无奈，本人较懒，通常花钱买，CSDN让人越来越买不起了)，一点一滴的制作了该电子书：从某网站花费近20大洋够得，并花费一小时以上第一次原创制作了电子书(遇到大问题并解决了)。这种大数据与spark圈所指大数据时有区别的！欢迎下载！ https://www.pythonforthelab.com/blog/introduction-to-storing-data-in-files/https://towardsdatascience.com/data-science-project-flow-for...
MySQL大数据量快速插入方法和语句优化是本文我们主要要介绍的内容，接下来我们就来一一介绍，希望能够让您有所收获！INSERT语句的速度插入一个记录需要的时间由下列因素组成，其中的数字表示大约比例：连接：（3）发送查询给服务器：（2）分析查询：（2）插入记录：（1x记录大小）插入索引：（1x索引）关闭：（1）这不考虑打开表的初始开销，每个并发运行的查询打开。表的大小以logN （B树）的速度减慢索引的插入。加快插入的一些方...
1、Shuffle [从mapTask到reduceTask: Mapper -> Partitioner ->Combiner -> Sort ->Reducer]mapper对job任务进行键值对构建并写入环形内存缓冲区[缓冲区满了，map停止直到全写入磁盘]，大小100MB(io.sort.mb)，一旦达到0.8(io.sort.spill.percent)读入量，即将内存内容经过partitioner分区和sort排序，和combiner合并写入到磁盘一个溢写出文件目录下(mapred.local.dir)。当数据读取完成，将磁盘所有溢出文件合并成一个大文件(同样是...
一、引言 Hive元数据存储可以放到RDBMS数据库中，本文以Hive与MySQL数据库的整合为目标，详细说明Hive与MySQL的整合方法。二、安装驱动MySQL最新的Java驱动版本为：mysql-connector-java-5.1.28-bin.jar，下载后拷贝到：Hive/Lib目录。三、安装MySQL 3.1 版本 RHEL5+mysql-5.5.35-1.i386.rpm 3.2 顺序 MySQL-shared-compat-5.5.35-1.rhel15.i386.rpm MySQL-server-5.5.35-1.rhel5.i386.rpm MySQL-clien...
前些日子，公司要求做一个数据导入程序，要求将Excel数据，大批量的导入到数据库中，尽量少的访问数据库，高性能的对数据库进行存储。于是在网上进行查找，发现了一个比较好的解决方案，就是采用SqlBulkCopy来处理存储数据。SqlBulkCopy存储大批量的数据非常的高效，就像这个方法的名字一样，可以将内存中的数据表直接的一次性的存储到数据库中，而不需要一次一次的向数据库Insert数据。初次实验，百万级别的数据表，也只需几秒时间...
一、kafka常用命令1.创建topicbin/kafka-topics.sh --create --topic topic_1 --partitions 4 --replication-factor 2 --zookeeper mini1:2181// 如果配置了PATH可以省略相关命令路径，相关命令参数暂不深入，字面意思也可以大概推断。后续给出完整参数参考。2.查看所有topicbin/kafka-topics.sh --list --zookeeper mini1:21813.发送消息bin/kafka-console-producer.sh --broker-list mini1:9092 --topic topic_14.消费消息bin/k...
其实“大数据”这个词在我的脑海中还没有一个比较确切的定义，几年前我接触了一个名词“海量数据”，它主要是指在数据库中如何处理优化查询海量数据的SQL，或者使用NoSQL（Not only SQL）进行处理，进而进行数据分析、数据挖掘等，从大量无规律的数据中提取出有价值的信息，总之海量数据是与数据库紧密关联的。而这两年兴起了“大数据”浪潮，我认为“海量数据”强调的是数据量的大小，而大数据则不仅仅是数据量的大小，还指每条数...
一、集群规划这里搭建一个 3 节点的 Spark 集群，其中三台主机上均部署 Worker 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Master 服务外，还在 hadoop002 和 hadoop003 上分别部署备用的 Master 服务，Master 服务由 Zookeeper 集群进行协调管理，如果主 Master 不可用，则备用 Master 会成为新的主 Master。二、前置条件搭建 Spark 集群前，需要保证 JDK 环境、Zookeeper 集群和 Hadoop 集群已经搭建，相关步骤可以参...
第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小（面试重点）第2章 HDFS的Shell操作（开发重点）第3章 HDFS客户端操作（开发重点）3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上传（测试参数优先级）3.2.2 HDFS文件下载3.2.3 HDFS文件夹删除3.2.4 HDFS文件名更改3.2.5 HDFS文件详情查看3.2.6 HDFS文件和文件夹判断3.3 HDFS的I/O流操作（自定义框架使用）3.3.1 HDFS文件上传3.3...
========== Spark 的监控方式 ==========1、Spark Web UI Spark 内置应用运行监控工具（提供了应用运行层面的主要信息--重要）2、Ganglia 分析集群的使用状况和资源瓶颈（提供了集群的使用状况--资源瓶颈--重要）3、Nmon 主机 CPU、网络、磁盘、内存（提供了单机信息）4、Jmeter 系统实时性能监控工具（提供了单机的实时信息）5、Jprofile Java ...
1.什么是大数据大数据是一个大的数据集合，通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析，而且它在数量、多样性、速度方法都很出色，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。2.大数据测试类型测试大数据应用程序更多的是验证其数据处理，而不是测试软件产品的个别功能。当涉及到大...
HDFS中数据管理与容错1.数据块的放置 每个数据块3个副本，就像上面的数据库A一样，这是因为数据在传输过程中任何一个节点都有可能出现故障（没有办法，廉价机器就是这样的），为了保证数据不能丢失，所以存在3个副本，这样保证了硬件上的容错，保证数据传递过程中准确性。 3个副本数据，放在两个机架上。比如上面机架1存在2个副本，机架2存在1个副本。 （1）如果就像下面的DataNode1数据块无法使用了，可以在机架1上的Da...