在互联网金融迅猛发展的背景下，风险控制问题已然成为行业焦点，基于大数据的风控模型正在成为互联网金融领域的热门战场。那么，大数据风控到底是怎么一回事呢？与传统风控相比，它又是怎样来进行风险识别的呢？本文对此进行了探讨。 大数据能够进行数据变现的商业模式目前就是两个，一个是精准营销，典型的场景是商品推荐和精准广告投放，另外一个是大数据风控，典型的场景是互联网金融的大数据风控。 金融的本质是风险管理，风控...
http://www.360doc.com/content/14/0726/00/11962419_397102114.shtml LVS的全称Linux vitual system,是由目前阿里巴巴的著名工程师章文嵩博士开发的一款开源软件。LVS工作在一台server上提供Directory(负载均衡器)的功能，本身并不提供服务，只是把特定的请求转发给对应的realserver(真正提供服务的主机)，从而实现集群环境中的负载均衡。LVS的核心组件ipvs工作在kernel中，是真正的用于实现根据定义的集群转发规则把客户端的请求...
大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：1.hadoop都包含什么技术2.Cloudera公司与hadoop的关系是什么，都有什么产品，产品有什么特性3.Spark与hadoop的关联是什么？4.Storm与hado...
电商大数据项目-推荐系统实战（一）环境搭建以及日志，人口，商品分析http://blog.51cto.com/6989066/2325073电商大数据项目-推荐系统实战之推荐算法http://blog.51cto.com/6989066/2326209电商大数据项目-推荐系统实战之实时分析以及离线分析http://blog.51cto.com/6989066/2326214（七）推荐系统常用算法协同过滤算法协同过滤算法（Collaborative Filtering：CF）是很常用的一种算法，在很多电商网站上都有用到。CF算法包括基于用...
再来说下数据集成开发过程，批处理数据集成和ETL数据集成生命周期1 确定项目的范围 2 概要分析 生命周期的第二个部分常常会被忽略，即概要分析。因为数据集成被视作一门技术活，而组织通常会对授权 访问生产数据比较敏感，因此，为了开发数据接口而对当前存储于可能的源和目标系统的数据进行分析可能是件 比较困难的事情。所以，对实际数据进行概要分析往往成为决定成败的关键。几乎每个数据集成项目都会发现存 在于源和...
本节作为《Hadoop从入门到精通》大型专题的第三章第二节将教大家如何在Mapreduce中使用XML和JSON两大常见格式，并分析比较最适合Mapreduce大数据处理的数据格式。 在本章的第一章节介绍中，我们简单了解了Mapreduce数据序列化的概念，以及其对于XML和JSON格式并不友好。本节作为《Hadoop从入门到精通》大型专题的第三章第二节将教大家如何在Mapreduce中使用XML和JSON两大常见格式，并分析比较最适合Mapreduce大数据处理的数据格式。...
一：概述1.关于ssh ssh是一种安全协议。 会生成一对公钥和私钥。2.问题的由来3.位置二：操作1.删除原信息2.生成一对公钥和密钥（系统命令）3.发送公钥 原文：http://www.cnblogs.com/juncaoit/p/5976638.html
原文：http://www.cnblogs.com/lexiaofei/p/6644404.html
Spark Streaming: Spark用于处理流式数据的模块，类似Storm核心：DStream（离散流），就是一个RDD============================================一、Spark Streaming基础 1、什么是Spark Streaming？ （*）Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. （*）常见的流式处理框架 （1）Apache Storm （2）Spark Streaming （3）JStorm：阿里巴巴 （4）Flink：可以很好的管...
第一阶段 Java编程基础→oracle/mysql→sql优化→jdbc 第二阶段 JavaScript基础→JavaScript深入→jQuery→jquery easyui→bootstrap 第三阶段 Servlet/jsp→ajax→xml→svn→maven实战项目一第四阶段 Struts2→hibernate→spring/spring mvc→项目实战二→web serviceshiro→mybatis→项目实战三 第五阶段linux+搜索+hadoop体系 Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系HDFS→mapreduce→hbase→z...
对于现代企业以及公司的未来创新发展，企业内部全面实施信息化战略划早已成为现在企业发展的一个重要环节，在信息化战略实施过程中，如何把企业内部管理和创新相结合，利用信息化框架模式打通也是目前信息化进程的一个重点问题所在。以下我们邀请到了辽宁兴隆大家庭集团营运部负责人伊敬初来从业务的角度谈谈百货行业在信息化利用方面的创新。问1:在大数据，互联网横流的时代，您选择什么样的方式来突破创新？答：考虑到我们业务的...
一、台安装部署前各项准备 1、安装centos7系统，这个我在vmware里面安装的，具体怎么装这里就不多讲了，我建议安装桌面版本的 2、修改静态IP地址 打开终端，首先我们配置动态IP，切换到root用户 输入 vim /etc/sysconfig/network-scripts/ifcfg-ens33 然后保存退出，重启网卡，再检查我们的ip地址 测试一下网络没有问题 现在开始配置静态ip信息 TYPE=Ethernet PROXY_METHOD=none...
大数据作为一个新兴的热门行业，吸引了很多人，但是对于大数据新手来说，按照什么路线去学习，才能够学习好大数据，实现从大数据菜鸟到高手的转变。这是很多想要学习大数据的朋友们想要了解的。 今天我们就来和大家分享下大数据新手从0开始学习大数据，实现菜鸟到高手的转变的学习路线。希望能够帮助想要学习大数据的朋友。如果你想要学好大数据最好加入一个好的学习环境，可以来这个Q群529867072 这样大家学习的话就比较方便，还能...
使用yum方式完成服务安装 ___By Nemo（仅供参考） Notice:Apache 安装好之后，我又改回桥接模式用rpm安装了。 首先，让你的虚拟机上个网，所以需要把网卡设置成nat模式，在宿主机上先拨个号，设好后重启linux系统。650) this.width=650;" height="222" src="/upload/getfiles/default/2022/11/16/20221116074856009.jpg" width="554" /> 重启后，打开firefox，看是不是能上网。Ok，但nat模式默...
2013年，大数据和数据分析技术将持续升温，相关创业公司也如雨后春笋一般让人们目接不暇。 最近大数据分析专家Robin Bloor 根据技术创新性， 技术路线等评判标准， 列出了10家值得关注的大数据分析技术公司，IT经理网编译整理如下：Actuate： Actuate与Eclipse基金会合作的的开源商业智能和报告项目Eclipse BRIT， 可以方便地帮助开发者开发基于BRIT上的商业智能应用和报告。 对于很多企业来说， 商业智能应用的需求在不断变化，...