在前面 的网页开发的阶段总结（三）中，我们知道JS与PHP之间直接互相调用，往往有很多不便，而且一次只能传送一个数据结果进行返回。而通过ajax方法可以实现JS一次性读取php的所传送过来的大量数据。通过提交表单的方式，让php可以一次性读取JS的大量数据。 1、借用AJAX方法，通过php读取数据库将大量数据显示在网页客户端上。 a、页面一加载完，执行函数Gett()，代码如下： <meta http-equiv="Content-Type" content="t...
下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash...
下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash...
下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash...
参考：http://ssdb.io/docs/zh_cn/commands/index.html SSDB源码分析 – 主从和多主同步原理解析：(http://www.ideawu.net/blog/archives/849.html) SSDB: Redis 的替代(http://www.wzxue.com/ssdb/) 大数据学习总结记录—SSDB标签：社区 推荐 image sha and 比较 排序 arch ora 本文系统来源：http://www.cnblogs.com/jack4738/p/7896906.html
大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。 下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。1.Bloom filter适用范围：可以用...
从前东家离职已经一个多月的时间了，在这一个月，前前后后也和几家公司做了技术交流，自己也第一次静下来这么久来思考总结。今年是我毕业的第五年，也正巧赶上年底，就把这些凑到一起写个小总结吧，也没有什么主题，没有主次，纯粹记录，想到哪儿写到哪儿。 1. 推荐系统 在最近的三四年时间里，我的主要工作就是搭建推荐系统，这几年来不说看了上千篇论文也有数百篇了，这种专注让我自认为在推荐系统领域至少处在一个业界相对领先的...
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。与FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Goo...
大数据开发技术Scala/sql进入方法总结 启动Scala-Shell start-all.shjpscd hadoop-2.9.2/sbin/start-all.shcd spark-2.4.2-bin-hadoop2.7/'abrt-cli status' timed out [mls@master ~]$ ls 20171024 apache-tomcat-9.0.20 eclipse idea-IC-191.7141.44 Public sparktestdata Templates 20171024_reduced core.11499 eclipse-workspa...
关系型数据库和非关系型数据库，以及大数据相关的工具做了一个总结。 百度云地址：https://pan.baidu.com/s/1LsbwPR2rx1cQm24VtTq7-Q 提取码：9kdm
目录 1.key关键字： 2.String常用： 3.list链表： 4.set集合： 数学集合类： 5.hash常用： 6.sorted set常用： 常用命令大全官方地址：http://redisdoc.com/ 1.key关键字： Keys *:查看当前k-v键值对缓存中的所有key Exists key的名字，判断某个key是否存在 Move key db -->当前库就没有了，被移除了 Expire key秒钟：为给key设置过期时间 Ttl key：查看该key还有多少秒过期，-1表示永不过期，-2表示已过期 Type key：查看你的k...
shell 第1章 Shell概述第2章 Shell解析器第3章 Shell脚本入门第4章 Shell中的变量4.1 系统变量4.2 自定义变量（变量=值，unset 变量）4.3 特殊变量：$n $# $* $@ $？ 第5章 运算符第6章 条件判断第7章 流程控制（重点）7.1 if 判断7.2 case 语句7.3 for 循环7.4 while 循环 第8章 read读取控制台输入第9章 函数（basename、dirname、自定义函数）第10章 Shell工具（重点）10.1 cut10.2 sed10.3 awk10.4 sort第1章 Shell概述 大数据...
参数总结 [root@node1 bin]# /export/server/flink/bin/flink --help./flink <ACTION> [OPTIONS] [ARGUMENTS]The following actions are available:Action "run" compiles and runs a program.??Syntax: run [OPTIONS] <jar-file> <arguments>??"run" action options:?????-c,--class <classname> ??????????????Class with the program entry point??????????????????????????????????????????("main()" method). Only needed if ...
由于公司的数据体量在逐步增大，日常的可视化过程中，和查询效率极其低下； 忍不住向大佬们咨询之后，发现了数据仓库和Hive这两个概念； 这就，打开了新世界的大门；1. 是什么 经过观看小破站的几集教程后，发现，整个是说如何管理数据。即，数据治理； 载自百度百科：数据治理（Data Governance） 是组织中涉及数据使用的一整套管理行为。 2. 为什么 结合互联网发展速度，就会发现，庞大的数据，无法满足企业日常的经营分析需求，...
Yarn 第 0 章 开发需重点掌握0.1 队列运行原理0.2 Yarn常用命令0.3 核心参数配置0.4 配置容量调度器和公平调度器。0.5 tool接口使用。 第 1 章 Yarn 资源调度器1.1 Yarn 基础架构1.2 Yarn 工作机制1.3 Yarn 调度器和调度算法1.4 Yarn 常用命令 第 2 章 Yarn 案例实操2.1 Yarn 生产环境核心参数配置案例2.2 容量调度器多队列提交案例2.3 公平调度器案例2.4 Yarn 的 Tool 接口案例第 0 章 开发需重点掌握 0.1 队列运行原理 0.2 Yarn常...