最近有很多朋友咨询位置数据、热力图等等东西，我一一进行了解答，但是个人精力实在有限，特写一个博客进行详细技术说明，其实这个东西位置数据、百度地图POI、高德地图POI等数据爬取、存储都较为简单，热力图渲染也较为简单，只要找到了好的库就很快了。 首先，我们采用百度地图API爬取长沙市和深圳相关地区的一些POI兴趣点，技术参考：https://blog.csdn.net/suwenkun1126/article/details/78343150，这个就是使用了SQL数...
8：hbase基本API操作这里我没在代码中写各种集群信息，而是将集群的配置文件放在了项目的resource中的，就可以直接读取到了package hbase;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.util.Bytes;import java.io.IOException; import java.util.ArrayList; import java.util.List;/*** @author Dawn* @date 2019年...
案例一：基因推出肿瘤基因检测服务数据源：检测数据：患者血清、口腔黏膜数据、基因测序等。其它数据：体检数据、电子病历、遗传记录、患者调查、地理区域以及生活条件等。实现路径：首先采取患者样本，通过测序得到基因序列，接着采用大数据技术与原始基因比对，锁定突变基因，通过分析做出正确的诊断，进而全面、系统、准确地解读肿瘤药物与突变基因的关系，同时根据患者的个体差异性，辅助医生选择合适的治疗药物，制定个体化的...
大数据分页实现与性能优化 摘要：Web 应用程序中经常使用数据分页技术，该技术是提高海量数据访问性能的主要手段。实现web数据分页有多种方案，本文通过实际项目的测试，对多种数据分页方案深入分析和比较，找到了一种更优的数据分页方案Row_number()二分法。它依靠二分思想，将整个待查询记录分为2部分，使扫描的记录量减少一半，进而还通过对数据表及查询条件进行优化，实现了存储过程的优化。根据Row_number()函数的特性，该方案...
1、YARN：将资源管理和作业调度/监控分成两个独立的进程。 包含两个组件：ResourceManager和ApplicationMaster2、YARN的特性： 1）可扩展性；2）高可用性（HA）；3）兼容性（1.0版本的作业也可以执行）；4）提高集群利用率；5）支持MapReduce编程范式。3、Hadoop的进程： 1）NameNode HDFS的守护进程； 2）Secondary NameNode 监控HDFS状态的辅助后台程序，备用NameNode； 3）DataNode 负责把HDFS的数据块写到本地文件系...
很久没有来写博客了，忙于工作，已经不再公网上发总结很久了。近些年来大数据很火，从云开始，云过后就是大数据，两者有一定的关系。大数据在于数据量之大，关系复杂，有人总结为几条特性，这里不列举。目前只是个开篇，开始继续这里的生涯。大数据依赖于底层的分布式架构，运行计算的拆分。更加在于深度学习的升温， 机器学习、推荐技术在越来越多的互联网公司得到重视， 很多底层的数据工作跟这相关，最终变现的能力也很大层度依...
当今的商业决策对基于天的数据依赖越来越强烈。然而，正确而连贯的数据流对商业用户做出快速、灵活的决策起到决定性的作用。建立正确的数据流和数据结构才 能保证最好的结果。这个过程叫做数据建模。为了避免认为错误并且加快进度，我们需要使用专业的软件来帮助我们建立数据逻辑模型和物理模型、生成DDL，并 且能够生成报告来描述这个模型，同时分享给其他伙伴。本文列出的工具都是从Data to Value公司咨询顾问处精挑细选的数据建...
面试中的问题（重点）** 1. RDD的特性（RDD的解释）1.RDD可以看做是一些列partition所组成的2.RDD之间的依赖关系3.算子是作用在partition之上的4.分区器是作用在kv形式的RDD上5.partition提供的最佳计算位置,利于数据处理的本地化即计算向数据移动而不是移动数据ps:RDD本身是不存储数据,可以看做RDD本身是一个引用数据RDD弹性1) 自动进行内存和磁盘数据存储的切换Spark优先把数据放到内存中，如果内存放不下，就会放到磁盘里面，程...
最近火狐浏览器弹出FlashPlayerPlugin_12_0_0_44.exe 应用程序错误，郁闷了好久，终于找了办法，分享给大家。C:\Windows\SysWOW64\Macromed\Flash\mms.cfg 打开后有两条SilentAutoUpdateEnable=1 AutoUpdateDisable=0在后面加上： ProtectedMode=0 重启火狐。原文：http://blog.csdn.net/hadoopdevelop/article/details/19537381
腾讯面试题：给20亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中并且所耗内存尽可能的少？ 解析:bitmap算法就好办多了 所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。 例如，要判断一千万个人的状态，每个人只有两种状态：男人，女人，可以用0，1表示。那么就可以开一个int数组，一个int有32...
一、安装并配置Linux8. 使用当前root用户创建文件夹，并给/opt/下的所有文件夹及文件赋予775权限，修改用户组为当前用户 mkdir -p /opt/modules mkdir -p /opt/software mkdir -p /opt/datas mkdir -p /opt/tools chmod775 /opt/* chown beifeng:beifeng /opt/*最终效果如下：[beifeng@beifeng-hadoop-02 opt]$ pwd /opt [beifeng@beifeng-hadoop-02 opt]$ ll total 20 drwxrwxr-x. 5 beifeng beifeng 4096 Jul 3000:13 clusterap...
SparkSQL(Spark用于处理结构化数据的模块)通过SparkSQL导入的数据可以来自MySQL数据库、Json数据、Csv数据等，通过load这些数据可以对其做一系列计算下面通过程序代码来详细查看SparkSQL导入数据并写入到ES中：数据集：北京市PM2.5数据Spark版本：2.3.2Python版本：3.5.2mysql-connector-java-8.0.11 下载ElasticSearch：6.4.1Kibana：6.4.1elasticsearch-spark-20_2.11-6.4.1.jar 下载具体代码： 1# coding: utf-8 2import sys3im...
String数据结构的基本操作首先说一下数据结构String，这是Redis中最简单的一种数据结构，和MemCache数据结构是一样的，即Key-Value型的数据，根据Redis官方文档，Value最大值为512M。下面用表格来看一下String操作的相关命令：命令描述用法SET（1）将字符串值Value关联到Key（2）Key已关联则覆盖，无视类型（3）原本Key带有生存时间TTL，那么TTL被清除SET key value [EX seconds] [PX milliseconds] [NX|XX]GET（1）返回key关联的字...
Scala多重继承、构造器的执行顺序、AOP实现多重继承的trait实现：Scala中接口可以继承具体的类，trait接口可以实现多重继承，并且某个类也可以继承特定的类，在继承后面可以混入，接口的实现多重继承构造器执行顺序：多重继承构造器执行顺序是从左到右按次序执行，如果前面类以及被继承实现了，后面的类就没有必要去实现，父类只需执行一次object triatScala {def main(args: Array[String]): Unit = {val t1 = new PianoTeacher t...
一、Redis内存数据库一个key-value存储系统，支持存储的value包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)。数据存在缓存中。与MemCached区别：（*）支持持久化 （*）丰富的数据类型（*）实现了主从同步（*）补偿了key/Value存储的不足 3、Redis的特点 （*）基于内存 （*）持久化: RDB、AOF （*）消息机制：支持String，只支持Topic的消息（广播） （*）丰富...