下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash...
最近遇到了数据库过大的时候用phpadmin导入的问题，新版本的phpadmin导入限定是8M，老版本的可能2M，我的数据库有几十兆这可怎么办呢？ 首先如果你有独立服务器或vps的话可以找到 Apache 下的php.ini 这个文件来修改这个8M或2M的限制，怎么修改呢？ 搜索到，修改这三个 代码如下:upload_max_filesize = 2M post_max_size = 8M memory_limit = 128M 修改完毕 重启下服务，进phpadmin看看吧，应该可以了!
Ajax 遇到的问题就从先到后的一一说吧。 问题1 按照我最初的想法，先上传文件再读取文件。这里问题就来了，当文件较大的时候上传较慢，导致客户看到的操作一直处于等待状态，不人性化。 处理办法：我是这样做的，大神有更好的办法，求介绍。我先把文件上传上去，然后把文件存到一个特定的文件夹就叫 import吧 ，然后返回一个这个文件名字。这样就确保了文件是上传成功的。并且我可以在他返回名字的这一步用js 给客户一个提示。然...
Thinkphp中的Model操作有两个方法:add()和addAll代码如下:$User = M("User"); // 实例化User对象$data[name] = ThinkPHP;$data[email] = ThinkPHP@gmail.com;$User->add($data);$dataList[] = array(name=>thinkphp,email=>thinkphp@gamil.com);$dataList[] = array(name=>onethink,email=>onethink@gamil.com);$User->addAll($dataList);addAll方法可以做到批量添加数据的功能，也就是MySQL的这种用法：代码如下: INSERT INTO tbl...
php 在线导入 mysql 大数据程序<?php header("content-type:text/html;charset=utf-8"); error_reporting(E_ALL); set_time_limit(0); $file=./test.sql; $data=file($file);echo ""; //print_r($data); $data_new=array(); $tmp=array(); foreach ($data as $line) {$line=trim($line);if(strlen($line)==0){continue;}if(substr($line,0,2)==--){continue;}if(substr($line,0,2)==/*){continue;}$tmp[]=$line;if(substr($line,-1...
下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash...
最近遇到了数据库过大的时候用phpadmin导入的问题，新版本的phpadmin导入限定是8M，老版本的可能2M，我的数据库有几十兆这可怎么办呢？ 首先如果你有独立服务器或vps的话可以找到 Apache 下的php.ini 这个文件来修改这个8M或2M的限制，怎么修改呢？ 搜索到，修改这三个 代码如下:upload_max_filesize = 2M post_max_size = 8M memory_limit = 128M 修改完毕 重启下服务，进phpadmin看看吧，应该可以了!
最近接到一个需求，通过选择的时间段导出对应的用户访问日志到excel中， 由于用户量较大，经常会有导出50万加数据的情况。而常用的PHPexcel包需要把所有数据拿到后才能生成excel， 在面对生成超大数据量的excel文件时这显然是会造成内存溢出的，所以考虑使用让PHP边写入输出流边让浏览器下载的形式来完成需求。我们通过如下的方式写入PHP输出流$fp = fopen(php://output, a); fputs($fp, strings); .... .... fclose($fp)php://out...
下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash...
最近遇到了数据库过大的时候用phpadmin导入的问题，新版本的phpadmin导入限定是8M，老版本的可能2M，我的数据库有几十兆这可怎么办呢？ 首先如果你有独立服务器或vps的话可以找到 Apache 下的php.ini 这个文件来修改这个8M或2M的限制，怎么修改呢？ 搜索到，修改这三个 代码如下:upload_max_filesize = 2M post_max_size = 8M memory_limit = 128M 修改完毕 重启下服务，进phpadmin看看吧，应该可以了!
前言 最近在工作中接到一个需求，通过选择的时间段导出对应的用户访问日志到excel中， 由于用户量较大，经常会有导出50万加数据的情况。而常用的PHPexcel包需要把所有数据拿到后才能生成excel， 在面对生成超大数据量的excel文件时这显然是会造成内存溢出的，所以考虑使用让PHP边写入输出流边让浏览器下载的形式来完成需求。 我们通过如下的方式写入PHP输出流 $fp = fopen(php://output, a); fputs($fp, strings); .... .... fclos...
数据类型在数据结构中的定义是一组性质相同的值的集合以及定义在这个值集合上的一组操作的总称。下面我们来为大家总结一下PHP的八大数据类型。推荐教程：PHP视频教程四种标量类型： boolean （布尔型）：这是最简单的类型，只有两种取值，可以为 TRUE/true 或 FALSE/false ，不区分大小写。详细请查看：PHP布尔类型（boolean） integer （整型）：在32 位操作系统中它的有效范围是：-2 147 483 648~+2 147 483 647。整型值可...
先下载对应phpExcel 的包就行了https://github.com/PHPOffice/PHPExcel 下载完成 把那个Classes 这个文件夹里面的 文件跟文件夹拿出来就好了。 直接写到PHPExcel 这个文件里面的。调用很简单。引入phpExcel 这个类传递对应的excel 文件的路径就好了 现在上传到指定的目录，然后加载上传的excel文件读取这里读取是的时候不转换数组了。注意：是Sheet可以多个读取，php上传值要设置大，上传超时要设置长。 header(Content-type: text...
php 在线导入 mysql 大数据程序 <?php header("content-type:text/html;charset=utf-8"); error_reporting(E_ALL); set_time_limit(0); $file=./test.sql; $data=file($file);echo "<pre>"; //print_r($data); $data_new=array(); $tmp=array(); foreach ($data as $line) {$line=trim($line);if(strlen($line)==0){continue;}if(substr($line,0,2)==--){continue;}if(substr($line,0,2)==/*){continue;}$tmp[]=$line;if(substr($l...
Thinkphp中的Model操作有两个方法:add()和addAll代码如下: $User = M("User"); // 实例化User对象 $data[name] = ThinkPHP; $data[email] = ThinkPHP@gmail.com; $User->add($data); $dataList[] = array(name=>thinkphp,email=>thinkphp@gamil.com); $dataList[] = array(name=>onethink,email=>onethink@gamil.com); $User->addAll($dataList);addAll方法可以做到批量添加数据的功能，也就是MySQL的这种用法：代码如下: I...