为什么在C中读取stdin的行比Python慢​​得多？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了为什么在C中读取stdin的行比Python慢​​得多？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3588字，纯文字阅读大概需要6分钟。

内容图文

我想比较使用Python和C从stdin读取字符串的读取行,并且看到我的C代码运行速度比等效的Python代码慢一个数量级.由于我的C生锈了,我还不是专家Pythonista,请告诉我,如果我做错了或者我误解了什么.

(TLDR回答：包含声明：cin.sync_with_stdio(false)或仅使用fgets.

TLDR结果：一直向下滚动到我的问题的底部并查看表格.)

C代码：

#include <iostream>
#include <time.h>

using namespace std;

int main() {
    string input_line;
    long line_count = 0;
    time_t start = time(NULL);
    int sec;
    int lps;

    while (cin) {
        getline(cin, input_line);
        if (!cin.eof())
            line_count++;
    };

    sec = (int) time(NULL) - start;
    cerr << "Read " << line_count << " lines in " << sec << " seconds.";
    if (sec > 0) {
        lps = line_count / sec;
        cerr << " LPS: " << lps << endl;
    } else
        cerr << endl;
    return 0;
}

// Compiled with:
// g++ -O3 -o readline_test_cpp foo.cpp

Python等价物：

#!/usr/bin/env python
import time
import sys

count = 0
start = time.time()

for line in  sys.stdin:
    count += 1

delta_sec = int(time.time() - start_time)
if delta_sec >= 0:
    lines_per_sec = int(round(count/delta_sec))
    print("Read {0} lines in {1} seconds. LPS: {2}".format(count, delta_sec,
       lines_per_sec))

这是我的结果：

$cat test_lines | ./readline_test_cpp
Read 5570000 lines in 9 seconds. LPS: 618889

$cat test_lines | ./readline_test.py
Read 5570000 lines in 1 seconds. LPS: 5570000

我应该注意到我在Mac OS X v10.6.8(Snow Leopard)和Linux 2.6.32(Red Hat Linux 6.2)下都尝试过这个.前者是MacBook Pro,后者是一个非常强大的服务器,而不是太过贴切.

$for i in {1..5}; do echo "Test run $i at `date`"; echo -n "CPP:"; cat test_lines | ./readline_test_cpp ; echo -n "Python:"; cat test_lines | ./readline_test.py ; done
Test run 1 at Mon Feb 20 21:29:28 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 2 at Mon Feb 20 21:29:39 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 3 at Mon Feb 20 21:29:50 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 4 at Mon Feb 20 21:30:01 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 5 at Mon Feb 20 21:30:11 EST 2012
CPP:   Read 5570001 lines in 10 seconds. LPS: 557000
Python:Read 5570000 lines in  1 seconds. LPS: 5570000

微小的基准附录和回顾

为了完整起见,我想我会使用原始(同步)C代码在同一个盒子上更新同一文件的读取速度.同样,这是针对快速磁盘上的100M线路文件.这是比较,有几种解决方案/方法：

Implementation      Lines per second
python (default)           3,571,428
cin (default/naive)          819,672
cin (no sync)             12,500,000
fgets                     14,285,714
wc (not fair comparison)  54,644,808

解决方法:

默认情况下,cin与stdio同步,这会导致它避免任何输入缓冲.如果将其添加到主页的顶部,您应该会看到更好的性能：

std::ios_base::sync_with_stdio(false);

通常,当缓冲输入流时,不是一次读取一个字符,而是以更大的块读取流.这减少了系统调用的数量,这通常相对昂贵.但是,由于基于FILE *的stdio和iostream通常具有单独的实现,因此具有单独的缓冲区,如果两者一起使用,则可能导致问题.例如：

int myvalue1;
cin >> myvalue1;
int myvalue2;
scanf("%d",&myvalue2);

如果cin读取的输入多于实际需要的输入,则第二个整数值将不可用于scanf函数,该函数具有自己的独立缓冲区.这将导致意想不到的结果.

为避免这种情况,默认情况下,流与stdio同步.实现此目的的一种常见方法是使用stdio函数根据需要使cin一次读取一个字符.不幸的是,这引入了很多开销.对于少量输入,这不是一个大问题,但是当您阅读数百万行时,性能损失是显着的.

幸运的是,图书馆设计师决定,如果您知道自己在做什么,也应该能够禁用此功能以获得更好的性能,因此他们提供了sync_with_stdio方法.

内容总结

以上是互联网集市为您收集整理的为什么在C中读取stdin的行比Python慢​​得多？全部内容，希望文章能够帮你解决为什么在C中读取stdin的行比Python慢​​得多？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端