一、工作原理剖析 二、性能优化1、设置Shuffle过程中的并行度：spark.sql.shuffle.partitions(SQLContext.setConf())2、在Hive数据仓库建设过程中，合理设置数据类型，比如能设置为INT的，就不要设置为BIGINT。减少数据类型导致的不必要的内存开销。3、编写SQL时，尽量给出明确的列名，比如select name from students。不要写select *的方式。4、并行处理查询结果：对于Spark SQL查询的结果，如果数据量比较大，比如超过1000条，...
Centos：yum,dnf YUM:Yellowdog Update Modifier,rpm的前端程序，可解决软件包相关依赖性，可在多个库之间定位软件包，up2date的替代工具 yum repository :yum repo ，存储了众多rpm包，以及包的相关的元数据文件放置于特定目录repodata下 文件服务器： http:// https:// ftp:// file:// yum配置文件 yum 客户端配置文件 /etc/yum.conf： 为所有仓库提供公共配置 /etc/yum.repos.d/*.repo:为仓库的指向提供配置 仓库指向...
TreeMap 工作原理及实现 HashMap不保证数据有序 LinkedHashMap保证数据插入有序， 要保证map的key可以大小排序，使用TreeMap集合TreeMap<Integer, String> treeMap = new TreeMap<>();treeMap.put(4,"qd");treeMap.put(3,"sd");treeMap.put(1,"sd");treeMap.put(5,"sd");treeMap.put(7,"sd");treeMap.put(9,"sd");treeMap.put(0,"sd");for(Map.Entry<Integer,String> entry: treeMap.entrySet()){System.out.println(entry.getKey(...
存储根据其类型，可分为块存储，对象存储和文件存储。在主流的分布式存储技术中，HDFS/GPFS/GFS属于文件存储，Swift属于对象存储，而Ceph可支持块存储、对象存储和文件存储，故称为统一存储。一、Ceph 基本介绍Ceph是一个分布式存储系统，诞生于2004年，最早致力于开发下一代高性能分布式文件系统的项目。经过多年的发展之后，已得到众多云计算和存储厂商的支持，成为应用最广泛的开源分布式存储平台。Ceph源码下载：http://ceph.c...
概? 述自然语言处理中的 Transformer 模型真正改变了我们处理文本数据的方式。Transformer 是最近自然语言处理发展的幕后推手，包括 Google 的 BERT。了解 Transformer 的工作原理、它如何与语言建模、序列到序列建模相关，以及它如何支持 Google 的 BERT 模型。引 言现在，我喜欢做一名数据科学家，从事 自然语言处理（Natural Language Processing,NLP) 方面的工作。这些突破和发展正以前所未有的速度发生。从超高效的 ULMFiT 框...