php与shell大文件数据统计与排序方法

本节内容： shell与php排序大数据的方法

大数据的问题，比如有个4G的文件，如何用只有1G内存的机器去计算文件中出现次数做多的数字(假设1行是1个数组，例如QQ号码)。 如果这个文件只有4B或者几十兆，那么最简单的办法就是直接读取这个文件后进行分析统计。但是这个是4G的文件，当然也可能是几十G甚至几百G的文件，这就不是直接读取能解决了的。

同样对于如此大的文件，单纯用PHP做是肯定行不通的，我的思路是不管多大文件，首先要切割为多个应用可以承受的小文件，然后批量或者依次分析统计小文件后再把总的结果汇总后统计出符合要求的最终结果。类似于比较流行的MapReduce模型，其核心思想就是“Map（映射）”和“Reduce（化简）”，加上分布式的文件处理，当然我能理解和使用到的只有Reduce后去处理。

假设有1个10亿行的文件，每行一个6位-10位不等的QQ号码，那么我需要解决的就是计算在这10亿个QQ号码中，重复最多的前10个号码，使用下面的PHP脚本生成这个文件，很可能这个随机数中不会出现重复，但是假设这里面会有重复的数字出现。

例如，

2. <?php
3. $fp = fopen('qq.txt','w+');
4. for( $i=0; $i<1000000000; $i++ ){
5. $str = mt_rand(10000,9999999999)."\n";
6. fwrite($fp,$str);
7. }
8. fclose($fp);

生成文件的世界比较长，Linux下直接使用php-client运行PHP文件会比较节省时间，当然也可以使用其他方式生成文件。生成的文件大约11G。 然后使用Linux Split切割文件，切割标准为每100万行数据1个文件。 split -l 1000000 -a 3 qq.txt qqfile qq.txt被分割为名字是qqfileaaa到qqfilebml的1000个文件，每个文件11mb大小，这时再使用任何处理方法都会比较简单了。

用PHP进行分析统计：

2. <?php
3. $results = array();
4. foreach( glob('/tmp/qq/*') as $file ){
5. $fp = fopen($file,'r');
6. $arr = array();
7. while( $qq = fgets($fp) ){
8. $qq = trim($qq);
9. isset($arr[$qq]) ? $arr[$qq]++ : $arr[$qq]=1;
10. }
11. arsort($arr);
12. //以下处理方式存在问题
13. do{
14. $i=0;
15. foreach( $arr as $qq=>$times ){
16. if( $i > 10 ){
17. isset($results[$qq]) ? $results[$qq]+=$times :$results[$qq]=$times;
18. $i++;
19. } else {
20. break;
21. }
22. }
23. } while(false);
24. fclose($fp);
25. }
26. if( $results ){
27. arsort($results);
28. do{
29. $i=0;
30. foreach( $results as $qq=>$times ){
31. if( $i > 10 ){
32. echo $qq . "\t" . $times . "\n";
33. $i++;
34. } else {
35. break;
36. }
37. }
38. } while(false);
39. }

这样每个样本取前10个，最后放到一起分析统计，不排除有个数在每个样本中都排名第11位但是总数绝对在前10的可能性，所以后面统计计算算法还需要改进。 也许有人说使用Linux中的awk和sort命令可以完成排序，但是我试了下如果是小文件还可以实现，但是11G的文件，不管是内存还是时间都无法承受。

1个awk+sort的脚本： awk -F '\\@' '{name[$1]++ } END {for (count in name) print name[count],count}' qq.txt |sort -n > 123.txt 不管是大文件处理还是可能存在的大数据都存在很大的需求空间。