在《携程技术2018年度合集》中，一共70篇文章中，只有5篇是大数据的内容。其中有一篇，讲到了Alluxio的应用过程。 在2018年，携程主集群规模已经突破千台，存储着50PB的数据，并且每天的数据增量大概是400TB。每天的作业数也达到了30万。 当时，携程使用的Spark Streaming实时任务，会将结果数据直接写入到HDFS中，400个流作业每天带来500万小文件的落地，虽然会有任务定期进行小文件合并，但巨大的增量为HDFS集群带来了很大的压力...
企业级大数据平台建设参考 | 淘宝&滴滴&美团&360&快手&京东 大数据技术与架构 大数据技术与架构 本文结合小编自己的经验并且参考了淘宝&滴滴&美团&360&快手等各个大厂大数据平台建设的思路。在尊重事实的基础上重新组织了语言和内容，旨在给读者揭开一个完善的大数据平台的组成和发展过程。大数据平台是为了计算，现今社会所产生的越来越大的数据量，以存储、运算、展现作为目的的平台。大数据技术是指从各种各样类型的数据中，快...
作者介绍Tigerhu在线教育公司大数据营销产品线负责人。本人目前在一家在线教育公司担任大数据营销产品负责人，由于一些机缘巧合，我同时负责了数据产品线和营销CRM产品线，因此给了我更多的机会去思考和实践如何把数据与营销业务深入融合，将大数据的势能赋予营销平台，从而实现业务的精细化运营和数据驱动。针对在线教育业务场景下的大数据营销平台实战，我会用一个系列的文章进行系统化阐述。文章可能会涉及：大数据平台搭建、用...
目前大数据平台有很多，这就需要我们可以对大数据平台进行分类，这就可以从大数据处理的过程、大数据处理的数据类型、大数据处理的方式以及平台对数据的部署方式这几方面进行。 首先我们从大数据处理的方式来划分，这样我们就能够把大数据平台分为批量处理、实时处理、综合处理。其中批量数据是对成批数据进行一次性处理，而实时处理对处理的延时有严格的要求，综合处理是指同时具备批量处理和实时处理两种方式。这样分使得大数据处...
目前大数据平台有很多，这就需要我们可以对大数据平台进行分类，这就可以从大数据处理的过程、大数据处理的数据类型、大数据处理的方式以及平台对数据的部署方式这几方面进行。 首先我们从大数据处理的方式来划分，这样我们就能够把大数据平台分为批量处理、实时处理、综合处理。其中批量数据是对成批数据进行一次性处理，而实时处理对处理的延时有严格的要求，综合处理是指同时具备批量处理和实时处理两种方式。这样分使得大数据处...
目前大数据平台有很多，这就需要我们可以对大数据平台进行分类，这就可以从大数据处理的过程、大数据处理的数据类型、大数据处理的方式以及平台对数据的部署方式这几方面进行。 首先我们从大数据处理的方式来划分，这样我们就能够把大数据平台分为批量处理、实时处理、综合处理。其中批量数据是对成批数据进行一次性处理，而实时处理对处理的延时有严格的要求，综合处理是指同时具备批量处理和实时处理两种方式。这样分使得大数据...
前言： 大数据平台中Es组件elasticsearch是大数据研发项目经常用的组件，因其能实现快速查询数据的特点而备受受欢迎。但是即便是es前期未配置之前，只能支持1万条数据的响应查询。 最直接表现就是分页查询，假设每页10条，跳转到1000页时，数据响应及时。但是如果跳转到2000页，或者4000页数据就会查询不出来。 一、配置es提高查询数据限制到2亿 1、找到你的Es索引，复制名字，在关闭 复制索引名：credit_trace2、编写好3部分信息，...
本文来自于 GOPS 2017 深圳站的演讲“广发银行大数据平台技术体系的演变之道”。作者简介廖俊杰广发银行 数据中心大数据团队负责人担任广发银行大数据团队负责人。作为银行业科技条线的资深人员，在应用系统与运行维护、信息科技治理与管理、大数据研究及规划等领域具有较为丰富经验。2011年牵头完成广发银行信用卡核心系统 ACCEND 升级工作，2014年作为项目经理完成广发银行南海数据中心搬迁及海外银行核心系统建设工作，2015年牵...