首页 / PHP / 用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件

用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含9111字，纯文字阅读大概需要14分钟。

内容图文

用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件

用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件 - 文章图片

$handle=fopen("1.csv","r");
while(!feof($handle)){
$buffer=fgetss($handle,2048);
$row = mb_convert_encoding(trim($buffer), ‘utf-8‘, ‘gbk‘); //很重要。转换成UTF8格式，不然容易产生乱码
$data=explode(",",$row); //转换成数组
$insertRows[] = $data;
} //这样所有的csv文件就生成一个二维数组$insertRows;

2. 函数 fgetcsv($handel,2048,‘,‘),返回数组，它就是explode(",",fget($handel))的组合。这种方法使用于小的csv 文件。而且不适合有汉字的csv 文件。 [php] view plain copy 用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件 - 文章图片

$handle=fopen("1.csv","r");
while($data=fgetcsv($handle,1000,",")){
$insertRows[] = $data;
} //这样所有的csv文件就生成一个二维数组$insertRows;

3. 说到正题了。上面2种方法适合少量的csv 文件。如果一个文件有10W+ 以上的行数，恐怕就很悲剧了。 [php] view plain copy 用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件 - 文章图片

$handle=fopen("1.csv","r");
//将文件一次性全部读出来
$excelData = array();
$content = trim(file_get_contents($fileName));
$excelData = explode("\n",$content);

或者直接用$excelData = file($file); file(）函数直接将数据读出并放入数组当中。
我们先将所有的文件一次性读出来。放到一个数组$excelData 中。这个时候，我们就可以不用管这个csv 文件了，纯粹了php 操作数组了。所以。不会崩溃异常： [php] view plain copy 用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件 - 文章图片

$chunkData = array_chunk($excelData , 5000); // 将这个10W+ 的数组分割成5000一个的小数组。这样就一次批量插入5000条数据。mysql 是支持的。
$count = count($chunkData);
for ($i = 0; $i < $count; $i++) {
$insertRows = array();
foreach($chunkData[$i] as $value){
$string = mb_convert_encoding(trim(strip_tags($value)), ‘utf-8‘, ‘gbk‘);//转码
$v = explode(‘,‘, trim($string));
$row = array();
$row[‘cdate‘] = empty($v[0]) ? date(‘Y-m-d‘) : date(‘Y-m-d‘,strtotime($v[0]));
$row[‘business‘] = $v[1];
$row[‘project‘] = $v[2];
$row[‘shopname‘] = $v[3];
$row[‘shopid‘] = $v[4];
$row[‘fanli‘] = formatNumber($v[5]);
$row[‘fb‘] = $v[6] * 100;
$row[‘jifen‘] = $v[7];
$sqlString = ‘(‘."‘".implode( "‘,‘", $row ) . "‘".‘)‘; //批量
$insertRows[] = $sqlString;
}
$result = $model->addDetail($insertRows); //批量将sql插入数据库。
}

插入数据库当然是批量插入了： [php] view plain copy 用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件 - 文章图片

public function addDetail($rows){
if(empty($rows)){
return false;
}
//数据量较大,采取批量插入
$data = implode(‘,‘, $rows);
$sql = "INSERT IGNORE INTO tb_account_detail(cdate,business,project,shopname,shopid,fanli,fb,jifen)
VALUES {$data}";
$result = $this->query($sql);
return true;
}

ok ! 亲测试。10W 数据。6个字段。插入需要10秒。 -----------------2013-12-18 日更新---------------------

3. 导出10W+的数据到csv

放弃之前写的一篇博客中用到的方法：http://blog.csdn.net/think2me/article/details/8596833 。原因是：当超过50W+ 以上的数据时，有可能浏览器崩溃，内存超。这个方法是写文件的方式。然后再把文件弹出下载。 [php] view plain copy 用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件 - 文章图片

public function dump2Excel() {
set_time_limit(0);
ini_set(‘memory_limit‘, ‘640M‘);
//获取列表
$name = $this->getActionName();
$model = D(GROUP_NAME . ‘.‘ . $name);
$map = $this->_search();
//文件名
if (isset($_GET[‘error‘]) && $_GET[‘error‘] > 0) {
$filename = C(‘IMG_PATH‘).‘account_data_error_‘ . $map[‘action_id‘] . ‘_‘ . date(‘Y-m-d‘, mktime()) . ‘.csv‘;
}else{
$filename = C(‘IMG_PATH‘).‘account_data_all_‘ . $map[‘action_id‘] . ‘_‘ . date(‘Y-m-d‘, mktime()) . ‘.csv‘;
}
//用户信息,商家ID,联盟,商家订单号,商品分类,确认类别,下单时间,完成时间,
//实际支付金额,佣金,佣金补贴,返利,F币,论坛积分,备注,强制入库
// ‘user_info‘, ‘shopid‘, ‘league‘, ‘order_id‘, ‘classify‘, ‘confirm_type‘,
//‘buydate‘, ‘paydate‘, ‘real_pay‘, ‘commission‘, ‘commission_plus‘,
// ‘fanli‘, ‘jifen‘, ‘bbs‘, ‘remarks‘, ‘persist_execute‘, ‘unique_sign‘,‘error_code‘
$header[] = iconv("utf-8", "gb2312", "用户信息");
$header[] = iconv("utf-8", "gb2312", "商家ID");
$header[] = iconv("utf-8", "gb2312", "联盟");
$header[] = iconv("utf-8", "gb2312", "商家订单号");
$header[] = iconv("utf-8", "gb2312", "商品分类");
$header[] = iconv("utf-8", "gb2312", "确认类别");
$header[] = iconv("utf-8", "gb2312", "下单时间");
$header[] = iconv("utf-8", "gb2312", "完成时间");
$header[] = iconv("utf-8", "gb2312", "实际支付金额");
$header[] = iconv("utf-8", "gb2312", "佣金");
$header[] = iconv("utf-8", "gb2312", "佣金补贴");
$header[] = iconv("utf-8", "gb2312", "返利");
$header[] = iconv("utf-8", "gb2312", "F币");
$header[] = iconv("utf-8", "gb2312", "论坛积分");
$header[] = iconv("utf-8", "gb2312", "备注");
$header[] = iconv("utf-8", "gb2312", "强制入库");
$header[] = iconv("utf-8", "gb2312", "唯一标识");
$header[] = iconv("utf-8", "gb2312", "错误信息");
$headerFile = implode(‘,‘, $header);
//写入标题
@unlink($filename);
file_put_contents($filename, $headerFile."\n");
//获取所有error_code
$list = D(‘Fanli‘)->table(‘tb_account_action_data_error_code‘)->field(‘id,err_msg‘)->findAll();
$error_msg = array();
foreach ($list as $value) {
$error_msg[$value[‘id‘]] = $value[‘err_msg‘];
}
//导入错误的数据
if (isset($_GET[‘error‘]) && $_GET[‘error‘] > 0) {
$map[‘error_code‘] = array(‘gt‘, 0);
}
if (!empty($map[‘action_id‘])) {
$allCount = $model->where($map)->field(‘count(1) as count‘)->select();
$pageLimit = ceil($allCount[0][‘count‘]/self::PAGE_COUNT);
$voList = array();
//打开文件
if (!$handle = fopen($filename, ‘a‘)) {
echo "不能打开文件 $filename";
exit;
}
//分页获取
for($i=0;$i<$pageLimit;$i++){
$count = self::PAGE_COUNT;
$start = $count * $i;
$limit = "$start,$count";
$voList = $model->where($map)->limit($limit)->order(‘id desc‘)->findAll();
//写入文件
$excelString = array();
foreach ($voList as $v) {
$dumpExcel = array();
$dumpExcel[] = mb_convert_encoding($v[‘user_info‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = mb_convert_encoding($v[‘shopid‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = mb_convert_encoding($v[‘league‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = mb_convert_encoding($v[‘order_id‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = mb_convert_encoding($v[‘classify‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = mb_convert_encoding($v[‘confirm_type‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = "‘".mb_convert_encoding($v[‘buydate‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = "‘".mb_convert_encoding($v[‘paydate‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = mb_convert_encoding($v[‘real_pay‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = mb_convert_encoding($v[‘commission‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = mb_convert_encoding($v[‘commission_plus‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = mb_convert_encoding($v[‘fanli‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = mb_convert_encoding($v[‘jifen‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = mb_convert_encoding($v[‘bbs‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = mb_convert_encoding($v[‘remarks‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = intval($v[‘persist_execute‘]);
$dumpExcel[] = mb_convert_encoding($v[‘unique_sign‘], ‘GBK‘, ‘UTF-8‘);
$dumpExcel[] = mb_convert_encoding($error_msg[$v[‘error_code‘]], ‘GBK‘, ‘UTF-8‘);
$excelString[] = implode(‘,‘,$dumpExcel);
}
//只能一行行些。不然容易漏
foreach($excelString as $content){
fwrite($handle, $content . "\n");
}
unset($excelString);
}
fclose($handle);
}
//导出下载
header("Content-type: application/octet-stream");
header(‘Content-Disposition: attachment; filename="‘ . basename($filename) . ‘"‘);
header("Content-Length: ". filesize($filename));
readfile($filename);
}

用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件

标签：base code bsp attach link 打开文件 rem 数组分割 nes

本文系统来源：http://www.cnblogs.com/houdj/p/6492004.html

内容总结

以上是互联网集市为您收集整理的用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件全部内容，希望文章能够帮你解决用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/475758.html

来源：【匿名】

【上一篇】ThinkPHP3.2.3 PHPExcel读取excel插入数据库【下一篇】PHP 5 数据对象 (PDO) 抽象层与 Oracle

更多 ►

【用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件】教程文章相关的互联网学习教程文章

用PHP读取Excel、CSV文件【代码】

PHP读取excel、csv文件的库有很多，但用的比较多的有： PHPOffice/PHPExcel、PHPOffice/PhpSpreadsheet，现在PHPExcel已经不再维护了，最新的一次提交还是在2017年12月25号，建议直接使用PhpSpreadsheet，而且这两个项目都是同一个组织维护的，本文介绍PhpSpreadsheet的使用。介绍PhpSpreadsheetPhpSpreadsheet这个库是纯PHP写的，提供了非常丰富的类和方法，而且支持很多文件格式：环境要求PHP >= 5.6开启php_zip扩展开启php_xml扩...

php - 从数据库导出百万级数据(CSV文件)【代码】

将数据库连接信息、查询条件、标题信息替换为真实数据即可使用。<?php set_time_limit(0); ini_set(‘memory_limit‘, ‘128M‘);$fileName = date(‘YmdHis‘, time()); header(‘Content-Encoding: UTF-8‘); header("Content-type:application/vnd.ms-excel;charset=UTF-8"); header(‘Content-Disposition: attachment;filename="‘ . $fileName . ‘.csv"‘);//打开php标准输出流 //以写入追加的方式打开$fp = fopen(‘php://...

PHP实现CSV文件的导入和导出类【代码】

本文实例讲述了PHP实现CSV文件的导入和导出类。分享给大家供大家参考。具体如下： <?php /*** CSV 文件处理类*/ class Csv{public $csv_array; //csv数组数据public $csv_str; //csv文件数据public function __construct($param_arr, $column){$this->csv_array = $param_arr;$this->path = $path;$this->column = $column;}/*** 导出* */public function export(){if(empty($this->csv_array) || empty($this->column)){return fa...

php 使用生成器 yield关键字处理万级以上csv 文件，并重新导出【代码】

前几天有个任务是要解密excel中某个字段，本来是一个非常简单的事情，但问题是用phpexcel一直load不了excel，无论运行时间设置为不限，内存也增加到了2048M，仍然不行，最后各种问度娘，最后想到了前段时间看的生成器 yield，刚好是一个测试的机会class Qushu {publicfunction getDg(){set_time_limit(0);$file = request()->get(‘file‘);$path = ‘D:/path/‘.$file.‘.csv‘;$key = ‘********‘;$header = [‘订单‘,‘姓名‘...

PHP csv文件内容转成数组/Json【代码】

$lines = array_map(‘str_getcsv‘, file($filePath));; $result = array(); $headers = null;if (count($lines) > 0) {$headers = $lines[0]; }for($i=1; $i<count($lines); $i++) {$obj = $lines[$i];$result[] = array_combine($headers, $obj);//转成数组 }$json = json_encode($result, JSON_PRETTY_PRINT);//转成JSON 原文：http://www.cnblogs.com/jackson0714/p/7791595.html

php解析.csv文件【代码】

publicfunction actionImport() {//post请求过来的$fileName = $_FILES[‘file‘][‘name‘];$fileTmpName = $_FILES[‘file‘][‘tmp_name‘];//判断是否选择了上传的文件if (empty($fileName)) {$data[‘message‘] = "请选择要上传的文件";return$this->render("batch_add", $data);}//判断选择上传的文件是不是csv格式if (explode(".", $fileName)[1] != "csv") {$data[‘message‘] = "请选择csv格式的文件上传";return$this-...

php输出csv文件简单实现【代码】

<?php $list = array ( "George,John,Thomas,USA", "James,Adrew,Martin,USA", );$file = fopen("contacts.csv","w");foreach ($list as $line){fputcsv($file,split(‘,‘,$line));}fclose($file); ?>以上代码执行后，CSV 文件会类似这样：George,John,Thomas,USA James,Adrew,Martin,USA原文：http://www.cnblogs.com/clphp/p/5825725.html

php中数据的批量导入(csv文件)

有时写程序时后台要求把大量数据导入数据库中，比如计算机考试成绩的查询、电话簿的数据等一般都是存放在excel中的，这时我们可把数据导出成csv文件，然后通过以下程序即可在后台批量导入数据到数据库中。　　下面只是主要程序部分：<?php /***************************************************作者：冲星/arcow**************************njj@nuc.edu.cn*****************************php导入csv文件到数据库*******************...

php如何修改csv文件【代码】【图】

php修改csv文件的方法：首先获取当前绝对路径；然后每次读取CSV里面的一行内容，代码为【while ($data = fgetcsv($file))】；最后此为一个数组，要获得每一个数据，访问数组下标即可。php修改csv文件的方法：php读取csv文件并处理成以表头为键名的数组 header("Content-type: text/html; charset=GBK");//设置输出编码ini_set(memory_limit, 1024M);//设置内存set_time_limit(0); //设置超时$dir = dirname(__FILE__)./; //获取...

php读取csv文件怎么去掉双引号【图】

1、实现在写CSV文件时需要先判断是否有逗号和双引号并做相应处理的方法代码如下2、实现读取csv文件时处理的方法代码读取csv文件后使用str_replace()函数将文件中的双引号替换掉即可。str_replace() 函数以其他字符替换字符串中的一些字符（区分大小写）。示例：<?php $arr = array("blue","red","green","yellow"); print_r(str_replace("red","pink",$arr,$i)); echo "替换数：$i"; ?>效果如下：推荐：php服务器以上就是php读取cs...

如何使用PHP创建CSV文件？（代码示例）【图】

CSV（逗号分隔值）是在应用程序之间传输表格数据的最常用方法之一；创建将数据导出到CSV的代码在许多应用程序中非常有用。下面本篇文章就来带大家了解如何使用PHP创建CSV文件，希望对大家有所帮助。下面就通过代码示例来具体介绍一下：使用静态数据创建CSV文件如果要将数据存储到csv文件中，则可以使用与以下类似的代码：<?php // 创建并打开“demosaved.csv”文件进行写入 $file = fopen(demosaved.csv, w);// 保存列标题 fputcsv...

如何使用PHP处理CSV文件?（代码示例）【图】

在PHP中我们可以使用fgetcsv()函数来解析CSV文件，它可以自动解析给定资源中的CSV字段。下面本篇文章就来给大家具体介绍一下使用PHP处理CSV文件的方法，希望对大家有所帮助。【视频教程推荐：PHP教程】什么是CSV文件？CSV文件基本上只是一个符合特定格式的文本文件，一种用来存储数据的纯文本文件格式，通常用于电子表格或数据库软件中。在CSV文件中，所有值都以逗号分隔（因此，首字母缩略词背后的含义：逗号分隔值），而各行由换...

php读取CSV文件的方法介绍（代码示例）【图】

本篇文章给大家带来的内容是关于php读取CSV文件的方法介绍（代码示例），有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。最近做了相关的功能，从 CSV 格式的文件中读取数据，然后进行操作，下面用实例代码记录下。fgetcsvfgetcsv — 从文件指针中读入一行并解析 CSV 字段如果提供了无效的文件指针，fgetcsv() 会返回 NULL。其他错误，包括碰到文件结束时返回 FALSE，。这个函数比较关键，可以看到它的功能就是读...

如何使用php中的PhpSpreadsheet读取Excel、CSV文件（附示例）【图】

本篇文章给大家带来的内容是关于如何使用php中的PhpSpreadsheet读取Excel、CSV文件（附示例），有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。PHP读取excel、csv文件的库有很多，但用的比较多的有： PHPOffice/PHPExcel、PHPOffice/PhpSpreadsheet，现在PHPExcel已经不再维护了，最新的一次提交还是在2017年12月25号，建议直接使用PhpSpreadsheet，而且这两个项目都是同一个组织维护的，本文介绍PhpSpreadsheet的...

php实现从数据库导出百万级数据的代码实例(CSV文件)

本篇文章给大家带来的内容是关于php实现从数据库导出百万级数据的代码实例(CSV文件)，有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。将数据库连接信息、查询条件、标题信息替换为真实数据即可使用。<?php set_time_limit(0); ini_set(memory_limit, 128M);$fileName = date(YmdHis, time()); header(Content-Encoding: UTF-8); header("Content-type:application/vnd.ms-excel;charset=UTF-8"); header(Content-...

PHP - 技术教程分类

PHP 教程 PHP 简介 PHP 安装 PHP 语法 PHP 变量 PHP echo/print PHP EOF(heredoc) PHP 数据类型 PHP 类型比较 PHP 常量 PHP 字符串 PHP 运算符 PHP If...Else PHP Switch PHP 数组 PHP 数组排序 PHP 超级全局变量 PHP While 循环 PHP For 循环 PHP 函数 PHP 魔术常量 PHP 命名空间 PHP 面向对象 PHP 测验 PHP 表单 PHP 表单验证 PHP 表单 - 必需字段 PHP 完整表单实例 PHP $_GET 变量 PHP $_POST 变量 PHP 多维数组 PHP 日期 PHP 包含 PHP 文件 PHP 文件上传 PHP Cookie PHP Session PHP E-mail PHP Error PHP Exception PHP 过滤器 PHP 7 新特性 PHP MySQL 简介 PHP MySQL 连接 PHP MySQL 创建数据库 PHP MySQL 创建数据表 PHP MySQL 插入数据 PHP MySQL 插入多条数据 PHP MySQL 预处理语句 PHP MySQL 读取数据 PHP MySQL Where PHP MySQL Order By PHP MySQL Update PHP MySQL Delete PHP ODBC AJAX 简介 AJAX PHP AJAX 数据库 AJAX 实时搜索 AJAX 投票 PHP Array PHP Calendar PHP cURL PHP Date PHP Directory PHP Error PHP Filesystem PHP Filter PHP FTP PHP HTTP PHP Mail PHP Math PHP Misc PHP MySQLi PHP PDO PHP String PHP Zip PHP Timezones PHP 图像处理 PHP RESTful PHP PCRE PHP 可用的函数 PHP Composer php 全部

PHP - 最热教程

php如何取出数组的前几个元素 PHP变量什么时候释放 PHP如何实现在数据库随机获取几条记录如何解决php base64解码乱码 php主要用于哪些领域 Laravel 批量插入(insert)数据六款国内优秀免费wordpress主题推荐 React如何从后端获取数据并渲染到前端？纯PHP实现定时器任务（Timer），php实现...php该如何安装pdo_mysql扩展

首页 / PHP / 用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件

用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件

内容导读

内容图文

3. 导出10W+的数据到csv

内容总结

内容备注

内容手机端

【用php导入10W条+ 级别的csv大文件数据到mysql。导出10W+级别数据到csv文件】教程文章相关的互联网学习教程文章

用PHP读取Excel、CSV文件【代码】

php - 从数据库导出百万级数据(CSV文件)【代码】

PHP实现CSV文件的导入和导出类【代码】

php 使用生成器 yield关键字处理万级以上csv 文件，并重新导出【代码】

PHP csv文件内容转成数组/Json【代码】

php解析.csv文件【代码】

php输出csv文件简单实现【代码】

php中数据的批量导入(csv文件)

php如何修改csv文件【代码】【图】

php读取csv文件怎么去掉双引号【图】

如何使用PHP创建CSV文件？（代码示例）【图】

如何使用PHP处理CSV文件?（代码示例）【图】

php读取CSV文件的方法介绍（代码示例）【图】

如何使用php中的PhpSpreadsheet读取Excel、CSV文件（附示例）【图】

php实现从数据库导出百万级数据的代码实例(CSV文件)

MYSQL - 相关标签

PHP - 相关标签

PHP - 技术教程分类

PHP - 最新教程

PHP - 最热教程