首页 / PHP / PHP-处理900,000条记录数据库和邮政编码的最佳方法？

PHP-处理900,000条记录数据库和邮政编码的最佳方法？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了PHP-处理900,000条记录数据库和邮政编码的最佳方法？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1557字，纯文字阅读大概需要3分钟。

内容图文

与我们有业务往来的公司希望每天提供1.2 GB的CSV文件,其中包含大约900,000个产品列表.每天只有一小部分文件更改,也许不到0.5％,这实际上只是添加或删除而不是修改产品.我们需要向合作伙伴显示产品清单.

更复杂的是,我们的合作伙伴只能在其邮政编码30-500英里半径内看到可用的产品清单.每个产品列表行都有一个字段,用于显示产品的实际半径(有些仅为30,有些为500,有些为100,以此类推.最大为500).给定邮政编码的合作伙伴可能只有20个左右的结果,这意味着将有大量未使用的数据.我们不知道所有合作伙伴的邮政编码.

我们必须考虑性能,因此我不确定实现此目标的最佳方法是什么.

我是否应该有两个数据库-一个包含邮政编码和纬度/经度,并使用Haversine公式计算距离…而另一个使用实际产品数据库…然后该怎么办？返回给定半径内的所有邮政编码,并在产品数据库中查找匹配项？对于500英里的半径,这将是大量的邮政编码.还是写一个MySQL函数？

我们可以使用Amazon SimpleDB来存储数据库…但是,邮政编码仍然存在这个问题.我可以像亚马逊所说的那样创建两个“域”,一个用于产品,一个用于邮政编码？不过,我认为您无法跨多个SimpleDB域进行查询.至少,我在他们的文档中没有看到.

我完全愿意接受其他解决方案.它不必是PHP / MySQL或SimpleDB.请记住,我们专用的服务器是2 GB的P4.我们可以升级RAM,只是我们不能为此付出很多处理能力.甚至每晚都在VPS上存储和处理数据库,如果在处理1.2 gb CSV的过程中VPS的运行速度慢得令人难以忍受,那将不是问题.我们甚至可以在台式计算机上离线处理文件,然后每天远程更新数据库…除非我仍然遇到邮政编码和产品列表需要交叉引用的问题.

解决方法:

您可能需要研究PostgreSQL和Postgis.它具有与MySQL spacial indexing类似的功能,而无需使用MyISAM(根据我的经验,与InnoDB相比,它倾向于损坏).

特别是Postgres 9.1,它允许使用GIST索引进行k-nearest neighbour search查询.

内容总结

以上是互联网集市为您收集整理的PHP-处理900,000条记录数据库和邮政编码的最佳方法？全部内容，希望文章能够帮你解决PHP-处理900,000条记录数据库和邮政编码的最佳方法？所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/879897.html

来源：【匿名】

【上一篇】MongoDB / PHP不喜欢俄语字符【下一篇】PHP 5 数据对象 (PDO) 抽象层与 Oracle

更多 ►

【PHP-处理900,000条记录数据库和邮政编码的最佳方法？】教程文章相关的互联网学习教程文章

ThinkPHP学习（三）配置PHP5支持MySQL，连接MySQL数据库【图】

配置PHP5支持MySQL打开PHP配置文件“F:\PHP\php5328Win32\php.ini”，查找“extension=php_mysql.dll”，把前面的分号去掉，保存文件，启动服务；却提示“PHP startup: Unable to load dynamic library :F:\PHP\php_mysql.dll”错误，解决办法，打开PHP配置文件“F:\PHP\php5328Win32\php.ini”，查找“extension_dir = "ext"”，把前面的分号去掉，保存文件，启动服务，问题解决；准备测试数据如果你还没有安装MySQL，请先安装MyS...

php+mysql实现数据库随机重排实例

本文实例实现了php+mysql数据库随机重排的方法，可将表中的所有数据随机读出来一次之后再进行随机保存到另一个表，从而达到了记录随机的功能。主要实现代码如下：复制代码代码如下:<?php //数据库连接就不写在这里面了 $s = isset( $_GET[‘s‘] )?$_GET[‘s‘]:0; $e = isset( $_GET[‘e‘])?$_GET[‘e‘]:50; $count =85000; if( $s < $count ) { $sql = "select * from 表前缀_info where isget =0 order by id desc limit $s...

PHp连接数据库实现增删改查【图】

首页删除添加添加处理页面修改修改处理页面原文：http://www.cnblogs.com/yongjiapei/p/5582153.html

PHP导出数据库sql文件，add和update【代码】

/*** 导出sql文件*/public function exportSql(){ //需要导出的数据库表存入到数组当中 $tables =array("T_CRM_QUEUE_FAIL","T_CRM_QUEUE"); //定义一个变量存放sql语句 $content = ‘‘; //打开并写入sql文件 $fp = fopen("./Upload/exportSql/".date(‘Ymd‘).".sql",‘w+‘); foreach ($tables as $k=>$v){ $content .= "\r\n-- ".$v."-- \r\n"; $sql = "SELECT * FROM ".$v; $tablesInfo=...

PHP Laravel框架多数据库连接方法【代码】【图】

1. 在config 下database.php中配置数据库连接然后在使用时直接用connection指向该连接即可 DB::connection(‘connections-theatre‘)->table(‘tb_order_ticket‘)->insert($data); 2. 在model中重定向到指定数据库连接 <?phpnamespace App\ModelTh;class ThBase extends Base {protected$connection = ‘connections-theatre‘; publicstaticfunction ******(){......}} 原文：https://www.cnblogs.com/dereckbu/p/9293668.html

PHP基础知识总结（三）流程控制、函数、类对象和数据库【代码】

PHP基础语法1、流程控制　　条件语句：if elseif else / switchif($a == 1){……} elseif ($a == 2){……} else{……} 循环语句：for foreachfor ($i = 1; $i <= 10; $i++) {echo$i; }foreach($arras$key => $value){ //一维数组循环键和值 …… }foreach($arras$key => $value){ //二维数组循环键和值foreach($valueas$value2){ //可以在循环中直接取值 ……} } 2、函数：一次...

PHP将Excel导入数据库以及数据库数据导出至Excel【代码】

一.导入导入需要使用能读取Excel的组件，网上也有比较好的组件，这里分享我使用的：下载提取码：vxyn。(注意两个文件有引用关系)<?php //传入要导入的Excel的文件名function import_to_DB($filename) {require_once‘reader.php‘;$data = new Spreadsheet_Excel_Reader(); //创建读取Excel的对象$data->setOutputEncoding(‘utf-8‘); //设置读取Excel内容后输出的字符编码$data->read("data/Excel/{$filename}.xls");$d...

F3-fatfree小型php框架教程（六）数据库篇【代码】

既然是讲数据库的，那首先自然是连接数据库了。这里举两个例子，mysql数据库：$db=newDB\SQL(‘mysql:host=localhost;port=3306;dbname=mysqldb‘,‘admin‘,‘p455w0rD‘); sqlite数据库：$db=newDB\SQL(‘sqlite:/absolute/path/to/your/database.sqlite‘));数据库查询：很简单的，fatfree的数据库是不用配置的，很多东西都是内置的，当你需要改再去改就行，我们首先学习查询，就一步：$f3->set(‘result‘,$db->exec(‘SELECT ...

php+mysql将大数据sql文件导入数据库【代码】

<?php$file_name = "d:test.sql";$dbhost = "localhost";$dbuser = "root";$dbpass = "123456";$dbname = "test";set_time_limit(0);$fp = @fopen($file_name,"r") or die("sql文件打不开");//打开文件$pdo = new PDO("mysql:host=localhost;dbname=test","root","123456");//连接数据库$pdo->query(‘set names utf8‘);//设置编码echo "正在执行导入操作";while($SQL = GetNextSQL()){if(!$pdo->query($SQL)){echo "执行出错";ec...

[PHP] 生成数据库字典的PHP代码支持PDO扩展【代码】【图】

有时候没有数据库字典设计文档，根据现有的数据库注释进行生成一份<?php header(‘content-type:text/html;charset=utf-8‘); define(‘DB_HOST‘,‘192.168.11.7‘); define(‘DB_USER‘,‘root‘); define(‘DB_PASS‘,‘centos‘); define(‘DB_NAME‘,‘new_admin‘); define(‘DB_PORT‘,3306); define(‘DB_CHAR‘,‘utf8‘); define(‘APPNAME‘,‘new_admin‘); $dbh = new PDO("mysql:host=".DB_HOST.":".DB_PORT.";dbnam...

PHP操作MYSQL数据库【代码】

一、连接及断开数据库　　1、使用mysqli 扩展（推荐），只针对mysql数据库　　　　面向对象的方式$con = new mysqli(ip,user,password);if($con->connect_error){dir("连接失败".$con->connect_error);} else{echo "连接成功";}　　　　　　$con->cloase();　　　　直接方法（面向过程）$con = mysqli_connect(ip,user,password);if($con){echomysqli_connect_error();} else {echo "连接成功";}　　　　　　mysqli_close($con) 　...

关于我的php 框架，数据库层使用方法【代码】

框架中，数据库包含两层，一个zz_db.php , 一个zz_model.php使用：项目入口定义数据库参数：//mysqldefine (‘ZZ_MYSQL_HOST‘ , ‘127.0.0.1‘);define (‘ZZ_MYSQL_USER‘ , ‘root‘);define (‘ZZ_MYSQL_PW‘ , ‘‘);define (‘ZZ_MYSQL_DB‘ , ‘microblog_home‘);　　//暂时只有一个数据库操作define (‘ZZ_MYSQL_TABLE_PRE‘ , ‘mh_‘);自己在项目的模型层中建立比如：UserModel.php extends zz_model.php 具体的各个方法...

CentOS 6.9编译方式搭建LTMP环境，并部署phpMyAdmin数据库管理工具【图】

一、演示环境：IP安装的程序包版本下载地址192.168.199.7Tenginetengine-2.2.2.tar.gzhttp://tengine.taobao.org/download_cn.htmlPHPphp-7.0.29.tar.gzhttp://www.php.net/downloads.phpphpMyAdminphpMyAdmin-4.8.0.1-all-languages.ziphttps://www.phpmyadmin.net/downloads/192.168.199.8mariadbmariadb-10.2.14-linux-x86_64.tar.gzhttps://downloads.mariadb.org/备注：Tengine是由淘宝网发起的Web服务器项目。它在Nginx的基础...

php+mysql+pdo连接数据库【代码】

1.$pdo = new PDO("mysql:host=localhost;dbname=test","root","123456");//连接数据库 2.pdo操作方法query() 主要是用于有记录结果返回的操作，特别是SELECT操作 exec() 主要是针对没有结果集合返回的操作，如INSERT、UPDATE等操作 lastInsertId() 返回上次插入操作，主键列类型是自增的最后的自增ID fetch() 是用来获取一条记录 fetchAll() 是获取所有记录集到一个中 3.查询实例　　 $sql = "select * from mytable";$arr = $pd...

thinkphp5访问sql2000数据库【代码】

大家都知道php跟mysql是绝配，但是因为有时候工作需要，要求php访问操作sql2000，怎么办呢？一般来说有两种方式：1. sqlsrv驱动方式2. odbc方式 sqlsrv驱动方式，因为微软公司原因，不提供sql2000的访问驱动，只提供了sql2005以上的驱动，所以如果你的数据库是2005以上版本，特别是sql2008r2，到微软官方可以下载到sql2008 for php的驱动，网上有很多文章介绍，我的博客里有篇文章 http://www.cnblogs.com/skysowe/p/5749022.html ...

PHP - 技术教程分类

PHP 教程 PHP 简介 PHP 安装 PHP 语法 PHP 变量 PHP echo/print PHP EOF(heredoc) PHP 数据类型 PHP 类型比较 PHP 常量 PHP 字符串 PHP 运算符 PHP If...Else PHP Switch PHP 数组 PHP 数组排序 PHP 超级全局变量 PHP While 循环 PHP For 循环 PHP 函数 PHP 魔术常量 PHP 命名空间 PHP 面向对象 PHP 测验 PHP 表单 PHP 表单验证 PHP 表单 - 必需字段 PHP 完整表单实例 PHP $_GET 变量 PHP $_POST 变量 PHP 多维数组 PHP 日期 PHP 包含 PHP 文件 PHP 文件上传 PHP Cookie PHP Session PHP E-mail PHP Error PHP Exception PHP 过滤器 PHP 7 新特性 PHP MySQL 简介 PHP MySQL 连接 PHP MySQL 创建数据库 PHP MySQL 创建数据表 PHP MySQL 插入数据 PHP MySQL 插入多条数据 PHP MySQL 预处理语句 PHP MySQL 读取数据 PHP MySQL Where PHP MySQL Order By PHP MySQL Update PHP MySQL Delete PHP ODBC AJAX 简介 AJAX PHP AJAX 数据库 AJAX 实时搜索 AJAX 投票 PHP Array PHP Calendar PHP cURL PHP Date PHP Directory PHP Error PHP Filesystem PHP Filter PHP FTP PHP HTTP PHP Mail PHP Math PHP Misc PHP MySQLi PHP PDO PHP String PHP Zip PHP Timezones PHP 图像处理 PHP RESTful PHP PCRE PHP 可用的函数 PHP Composer php 全部

PHP - 最热教程

php如何取出数组的前几个元素 PHP变量什么时候释放 PHP如何实现在数据库随机获取几条记录如何解决php base64解码乱码 php主要用于哪些领域 Laravel 批量插入(insert)数据六款国内优秀免费wordpress主题推荐 React如何从后端获取数据并渲染到前端？纯PHP实现定时器任务（Timer），php实现...php该如何安装pdo_mysql扩展

首页 / PHP / PHP-处理900,000条记录数据库和邮政编码的最佳方法？

PHP-处理900,000条记录数据库和邮政编码的最佳方法？

内容导读

内容图文

内容总结

内容备注

内容手机端

【PHP-处理900,000条记录数据库和邮政编码的最佳方法？】教程文章相关的互联网学习教程文章

ThinkPHP学习（三）配置PHP5支持MySQL，连接MySQL数据库【图】

php+mysql实现数据库随机重排实例

PHp连接数据库实现增删改查【图】

PHP导出数据库sql文件，add和update【代码】

PHP Laravel框架多数据库连接方法【代码】【图】

PHP基础知识总结（三）流程控制、函数、类对象和数据库【代码】

PHP将Excel导入数据库以及数据库数据导出至Excel【代码】

F3-fatfree小型php框架教程（六）数据库篇【代码】

php+mysql将大数据sql文件导入数据库【代码】

[PHP] 生成数据库字典的PHP代码支持PDO扩展【代码】【图】

PHP操作MYSQL数据库【代码】

关于我的php 框架，数据库层使用方法【代码】

CentOS 6.9编译方式搭建LTMP环境，并部署phpMyAdmin数据库管理工具【图】

php+mysql+pdo连接数据库【代码】

thinkphp5访问sql2000数据库【代码】

PHP - 相关标签

数据库 - 相关标签

PHP - 技术教程分类

PHP - 最新教程

PHP - 最热教程