本文以填报报表为例，通过分页的方式，来解决大数据集展示的问题。 实现的思想就是通过在SQL里筛选部分数据库数据，以达到浏览器可以合理的展示报表页面。（数据分段，语句我这采用的是MYSQL，如果要用其他数据库，请查看FineReport帮助文档） 步骤一：打开fenye.cpt文件。 模板界面如下 两个ds，和一部分数据，及隐藏的一行。 隐藏一行内容如下 这里数据的功能会在下面说起。 ds1 里的内容如下 ...
python视频教程栏目介绍一个大数据分析神器推荐（免费）：python视频教程对于Pandas运行速度的提升方法，之前已经介绍过很多回了，里面经常提及Dask，很多朋友没接触过可能不太了解，今天就推荐一下这个神器。1、什么是Dask？Pandas和Numpy大家都不陌生了，代码运行后数据都加载到RAM中，如果数据集特别大，我们就会看到内存飙升。但有时要处理的数据并不适合RAM，这时候Dask来了。Dask是开源免费的。它是与其他社区项目（如Numpy，...
《Python金融大数据分析 》是人民邮电出版社2015年12月出版的中译图书，作者[德]伊夫·希尔皮斯科，译者姚军。《Python金融大数据分析》，唯一一本详细讲解使用Python分析处理金融大数据的专业图书；金融应用开发领域从业人员必读。适合对使用Python进行大数据分析、处理感兴趣的金融行业开发人员阅读。（推荐学习：Python视频教程）内容介绍Python凭借其简单、易读、可扩展性以及拥有巨大而活跃的科学计算社区，在需要分析、处理大...
数据就是资产。大数据工程师是现在十分火热、高薪的职位。做大数据开发和分析不仅要用到Java，Python也是最重要的语言。那么，今天我们就来分析一下，Python之于大数据的意义和作用。（推荐学习：Python视频教程）什么是大数据？大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。为...
数据获取：公开数据、Python爬虫外部数据的获取方式主要有以下两种。（推荐学习：Python视频教程）第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。另一种获取外部数据的方式就是爬虫。比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、...
自从2004年以后，python的使用率呈线性增长。2011年1月，它被TIOBE编程语言排行榜评为2010年度语言。由于Python语言的简洁性、易读性以及可扩展性，在国外用Python做科学计算的研究机构日益增多，一些知名大学已经采用Python来教授程序设计课程。数据就是资产。大数据工程师是现在十分火热、高薪的职位。做大数据开发和分析不仅要用到Java，Python也是较重要的语言。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和...
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。目前，大数据算是非常火的专业，下面我将和大家谈谈大数据专业学什么？大数据专业分为两种，其一是大数据开发，其二是数据分析与挖掘。1、大数据开发：Ja-va、大数据基础、Hadoop体系、Scala、kafka、Spark等内容；2、数据分析与挖...
大数据是这近年来一直比较火的一个词语，让很多人都情不自禁走入大数据的学习中。可是你知道大数据用什么语言吗？1、Python语言十多年来，Python在学术界当中一直很流行，尤其是在自然语言处理（NLP）等领域。因而，如果你有一个需要NLP处理的项目，就会面临数量多得让人眼花缭乱的选择，包括经典的NTLK、使用GenSim的主题建模，或者超快、准确的spaCy。同样，说到神经网络，Python同样游刃有余，有Theano和Tensorflow；随后还有面...
分享知识要点：lubridate包拆解时间 | POSIXlt利用决策树分类，利用随机森林预测利用对数进行fit，和exp函数还原训练集来自Kaggle华盛顿自行车共享计划中的自行车租赁数据，分析共享自行车与天气、时间等关系。数据集共11个变量，10000多行数据。首先看一下官方给出的数据，一共两个表格，都是2011-2012年的数据，区别是Test文件是每个月的日期都是全的，但是没有注册用户和随意用户。而Train文件是每个月只有1-20天，但有两类用户...
警告：此篇文章仅作为学习研究参考用途，请不要用于非法目的。在上一篇文章《摩拜单车非官方大数据分析》中提到了我在春节期间对摩拜单车的数据分析，在后面的系列文章中我将进一步的阐述我的爬虫是如何高效的爬到这些数据的。为什么爬摩拜的数据摩拜是最早进入成都的共享单车，每天我从地铁站下来的时候，在APP中能看到很多单车，但走到那里的时候，才发现车并不在那里。有些车不知道藏到了哪里；有些车或许是在高楼的后面，由于有...
前段时间，ThoughtWorks在深圳举办一次社区活动上，有一个演讲主题叫做“Fullstack JavaScript”，是关于用JavaScript进行前端、服务器端，甚至数据库（MongoDB）开发，一个Web应用开发人员，只需要学会一门语言，就可以实现整个应用。受此启发，我发现Python可以称为大数据全栈式开发语言。因为Python在云基础设施，DevOps，大数据处理等领域都是炙手可热的语言。领域流行语言云基础设施Python, Java, GoDevOpsPython, Shell, Rub...
数据分析和机器学习大数据基本都是建立在Hadoop系统的生态上的，其实一个Java的环境。很多人喜欢用Python和R来进行数据分析，但是这往往对应一些小数据的问题，或者本地数据处理的问题。如何将二者进行结合使其具有更大的价值?Hadoop现有的生态系统和现有的Python环境如上图所示。MaxComputeMaxCompute是面向离线计算的大数据平台，提供TB/PB级的数据处理，多租户、开箱即用、隔离机制确保安全。MaxCompute上主要分析的工具就是SQL...
毫不夸张地说，大数据已经成为任何商业交流中不可或缺的一部分。桌面和移动搜索向全世界的营销人员和公司以空前的规模提供着数据，并且随着物联网的到来，大量用以消费的数据还会呈指数级增长。这种消费数据对于想要更好地定位目标客户、弄懂人们怎样使用他们的产品或服务，并且通过收集信息来提高利润的公司来说无疑是个金矿。筛查数据并找到企业真正可以使用的结果的角色落到了软件开发者、数据科学家和统计学家身上。现在有很多...
当出现万以上的整型数字时，经常要把它们口语化比较直观。下面分享两段代码，python与js的pythondef fn(num):把数字口语化ret = num = int(num)if num/10000 == 0:ret = str(num)else:if num/10**8 == 0:if num%10000 != 0:ret = str(num/10000) + 万 + str(num % 10000)else:ret = str(num/10000) + 万else:n2 = num%10**8if n2%10000 != 0 and n2/10000 != 0:ret = str(num/10**8) + 亿 + str(n2/10000) + 万 + str(n2%10000)eli...
如果直接对大文件对象调用 read() 方法，会导致不可预测的内存占用。好的方法是利用固定长度的缓冲区来不断读取文件内容。即通过yield。在用Python读一个两个多G的txt文本时，天真的直接用readlines方法，结果一运行内存就崩了。还好同事点拨了下，用yield方法，测试了下果然毫无压力。咎其原因，原来是readlines是把文本内容全部放于内存中，而yield则是类似于生成器。 代码如下：def open_txt(file_name):with open(file_name,r+...