大数据项目

以下是为您整理出来关于【大数据项目】合集内容,如果觉得还不错,请帮忙转发推荐。

【大数据项目】技术教程文章

太平洋保险家园大数据项目DSG应用(30多个Oracle等实时同步到KAFKA)【图】

太平洋保险集团“家园项目”大数据平台DSG应用(oracle&kafka)项目背景根据太平洋保险集团的IT建设规划,在2017年年底,需要完成“一个太保,共同的家园”项目(简称家园项目),旨在给客户提供更加便携、全面的服务,通过一个家园平台,就能够完成所有的服务。众所周知,太平洋保险的业务范围非常广泛,囊括了产险、寿险、车险等业务,同时,一个险种又由多个系统共同提供服务。现在要在一个平台上完成这些服务,数据的汇聚、集中...

电商大数据项目-推荐系统实战之推荐算法(三)【图】

电商大数据项目-推荐系统实战(一)环境搭建以及日志,人口,商品分析http://blog.51cto.com/6989066/2325073电商大数据项目-推荐系统实战之推荐算法http://blog.51cto.com/6989066/2326209电商大数据项目-推荐系统实战之实时分析以及离线分析http://blog.51cto.com/6989066/2326214(七)推荐系统常用算法协同过滤算法协同过滤算法(Collaborative Filtering:CF)是很常用的一种算法,在很多电商网站上都有用到。CF算法包括基于用...

新闻网站大数据项目【代码】【图】

介绍:&emsp本次项目是基于企业大数据经典案例项目(大数据日志分析),全方位、全流程讲解 大数据项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。 一、业务需求?? (一)捕获用户浏览日志信息?? (二)实时分析前20名流量最高的新闻话题?? (三)实时统计当前线上已曝光的新闻话题?? (四)统计哪个时段用户浏览量最高二、系统架构三、集群规划四、数据源介绍五、项目实战1)离线采...

大数据项目之_15_电信客服分析平台_01&02_项目背景+项目架构+项目实现+数据生产+数据采集/消费(存储)【代码】【图】

一、项目背景二、项目架构三、项目实现3.1、数据生产3.1.1、数据结构3.1.2、编写代码3.1.3、打包测试3.2、数据采集/消费(存储)3.2.1、数据采集:采集实时产生的数据到 kafka 集群3.2.2、编写代码:数据消费(HBase)3.2.3、编写测试单元:范围查找数据(本方案已弃用,但需掌握)3.2.4、运行测试:HBase 消费数据3.2.5、编写代码:优化数据存储方案3.2.6、运行测试:协处理器3.2.7、编写测试单元:范围查找数据一、项目背景??通信运...

大数据项目架构面试题【图】

项目架构 2.1 提高自信 云上数据仓库解决方案:https://www.aliyun.com/solution/datavexpo/datawarehouse2.2 数仓概念 数据仓库的输入数据源和输出系统分别是什么? 输入系统:埋点产生的用户行为数据、JavaEE后台产生的业务数据、个别公司有爬虫数据。 输出系统:报表系统、用户画像系统、推荐系统 2.3 系统数据流程设计2.4 框架版本选型 1)Apache:运维麻烦,组件间兼容性需要自己调研。(一般大厂使用,技术实力雄厚,有专业的...

大数据项目之_15_帮助文档_NTP 配置时间服务器+Linux 集群服务群起脚本+CentOS6.8 升级到 python 到 2.7【代码】

一、NTP 配置时间服务器1.1、检查当前系统时区1.2、同步时间1.3、检查软件包1.4、修改 ntp 配置文件1.5、重启 ntp 服务1.6、设置定时同步任务二、Linux 集群服务群起脚本2.1、介绍2.2、编写脚本三、CentOS6.8 升级到 python 到 2.73.1、环境准备3.2、安装 Python2.7一、NTP 配置时间服务器 ??当集群中各个节点的时间不同步,误差超过某个范围时,会导致一些集群的服务无法正常进行,这时我们应该想办法做一个定时同步集群所有节点时...

电商大数据项目-推荐系统实战之推荐算法【图】

(1)电商大数据项目-推荐系统实战http://blog.51cto.com/6989066/2325073 (七)推荐系统常用算法协同过滤算法协同过滤算法(Collaborative Filtering:CF)是很常用的一种算法,在很多电商网站上都有用到。CF算法包括基于用户的CF(User-based CF)和基于物品的CF(Item-based CF)。 (八)Apache Mahout和Spark MLLib① Apache Mahout简介Apache Mahout是Apache Software Foundation (ASF)旗下的一个开源项目,提供了一些经典的...

[大数据项目]-0011-基于大数据技术推荐系统算法案例实战视频教【图】

2018最新最全大数据技术、项目视频。整套视频,非那种淘宝杂七杂八网上能免费找到拼凑的乱八七糟的几年前的不成体系浪费咱们宝贵时间的垃圾,详细内容如下,视频高清不加密,需要的联系QQ:3164282908(加Q注明51CTO)。 [大数据项目]-0010-基于大数据技术推荐系统算法案例实战视频教 : 18.41GB├──1.01_大数据应用案例.mp4 : 105.82MB├──1.02_大数据技术框架.mp4 : 71.67MB├──1.03_推荐系统的技术栈.mp4 : 123.96MB├──...

大数据项目2(Java8聚合操作)【代码】

前言:为很好的理解这些方法,你需要熟悉java8特性Lambda和方法引用的使用 一:简介我们用集合的目的,往往不是简单的仅仅把数据保存哪里。而是要检索(遍历)或者去计算或统计....操作集合里面的数据。现假设我有一个实体对象Person如下,用于测试集合操作public class Person {public enum Sex {MALE, FEMALE}String name;LocalDate birthday;Sex gender;String emailAddress;Person(String nameArg, LocalDate birthdayArg, Sex g...