Sphinx+Mysql+Php12亿DNS数据秒查
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Sphinx+Mysql+Php12亿DNS数据秒查，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4127字，纯文字阅读大概需要6分钟。
内容图文
最近得到一个接近12亿的全球ns节点的数据，本来想用来做一个全国通过dns反查域名然后进行全国范围的网站收集和扫描的，后来发现网站的数量不是很准确，加上一个人的精力和财力实在难以完成这样一个庞大的任务，就没有做下去，只留下了这个搭建的笔记。文本格式，简单的文本搜索，速度太慢，一次搜索接近花掉5-10分钟时间，决定将其倒入数据库进行一次优化，速度应该能提升不到，电脑上只有AMP的环境，那么就决定将其倒入到mysql中，
一开始使用Navicat进行倒入，刚好数据的格式是 ip,ns 这样的格式，倒入了接近5个小时发现还没有倒入到百分之一，这可是纯文本格式化的时候大小为54G的数据文件啊！
后来发现用mysql自带的load data local infile只话了30分钟左右，第一次导入的时候忘记新建键了，只好重新导入一次
mysql> load data local infile 'E:\\dns\\rite\\20141217-rdns.txt' into table dnsfields terminated by ',';Query OK, 1194674130 rows affected, 1700 warnings (29 min 26.65 sec)Records: 1194674130 Deleted: 0 Skipped: 0 Warnings: 1700
因为添加了一个id字段，所以导入速度明显下降，不过大概也只花了1个半小时左右的时间就完成了55G数据的导入。
接着是建立索引，因为我需要的模糊查询，所以在这里建立的是Full Text＋Btree，差不多花了3天时间索引才建立完成，期间因为一不小心把mysql的执行窗口关闭了，以为就这么完蛋了，最后发现其实mysql还在后台默默的建立索引。
建立了索引之后发现查询速度也就比没有建立索引快那么一点，执行了一条
select * from ns where ns like '%weibo.com'
花掉了210秒的时间，还是太慢了。
然后就开始使用SPhinx来做索引提升速度，
从官方下载了64位的SPHINX MYSQL SUPPORT的包下载地址
接着配置配置文件,src里配置要mysql的账号密码
source src1{ sql_host = localhost sql_user = root sql_pass = root sql_db = ns sql_port = 3306 sql_query = \ SELECT id,ip,ns from ns //这里写上查询语句 sql_attr_uint = id 然后searchd里也需要配置一下,端口和日志，pid文件的路径配置好即可
searchd{ listen = 9312 listen = 9306:mysql41 log = E:/phpStudy/splinx/file/log.log query_log = E:/phpStudy/splinx/file/query.log pid_file = E:/phpStudy/splinx/file/searchd.pid 然后切换到sphinx的bin目录进行建立索引，执行
searchd test1 #test1是你source的名称
我大概建立了不到2个小时的时间就建立完成了，
然后切换到api目录下执行
E:\phpStudy\splinx\api>test.py asdDEPRECATED: Do not call this method or, even better, use SphinxQL instead of anAPIQuery 'asd ' retrieved 1000 of 209273 matches in 0.007 secQuery stats: 'asd' found 209291 times in 209273 documentsMatches:1. doc_id=20830, weight=12. doc_id=63547, weight=13. doc_id=96147, weight=14. doc_id=1717000, weight=15. doc_id=2213385, weight=16. doc_id=3916825, weight=17. doc_id=3981791, weight=18. doc_id=5489598, weight=19. doc_id=9348383, weight=110. doc_id=18194414, weight=111. doc_id=18194415, weight=112. doc_id=18195126, weight=113. doc_id=18195517, weight=114. doc_id=18195518, weight=115. doc_id=18195519, weight=116. doc_id=18195520, weight=117. doc_id=18195781, weight=118. doc_id=18195782, weight=119. doc_id=18200301, weight=120. doc_id=18200303, weight=1
进行了测试，发现速度真的很快，写了一个PHP脚本进行调用
SetServer ( '127.0.0.1', 9312 );$result = $sphinx->query ('weibo.com', 'test1'); foreach($result['matches'] as $key => $val){ $sql="select * from ns where id='{$key}'"; $res=mysql_query($sql); $res=mysql_fetch_array($res); echo "{$res['ip']}:{$res['ns']}";}echo time()-$now;?> 基本实现了秒查！,最后输出的时间只花掉了0！
123.125.104.176:w-176.service.weibo.com123.125.104.178:w-178.service.weibo.com123.125.104.179:w-179.service.weibo.com123.125.104.207:w-207.service.weibo.com123.125.104.208:w-208.service.weibo.com123.125.104.209:w-209.service.weibo.com123.125.104.210:w-210.service.weibo.com202.106.169.235:staff.weibo.com210.242.10.56:weibo.com.tw218.30.114.174:w114-174.service.weibo.com219.142.118.228:staff.weibo.com60.28.2.221:w-221.hao.weibo.com60.28.2.222:w-222.hao.weibo.com60.28.2.250:w-222.hao.weibo.com61.135.152.194:sina152-194.staff.weibo.com61.135.152.212:sina152-212.staff.weibo.com65.111.180.3:pr1.cn-weibo.com160.34.0.155:srm-weibo.us2.cloud.oracle.com202.126.57.40:w1.weibo.vip.hk3.tvb.com202.126.57.41:w1.weibo.hk3.tvb.com0
内容总结
以上是互联网集市为您收集整理的Sphinx+Mysql+Php12亿DNS数据秒查全部内容，希望文章能够帮你解决Sphinx+Mysql+Php12亿DNS数据秒查所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。