C#读取大文件

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了C#读取大文件，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2986字，纯文字阅读大概需要5分钟。

内容图文

有些时候需要读取文件，小文件的时候效率的影响可以忽略，但是当文件上M，上G的时候，这个时候，效率问题就非常重要了，下面将对一个3G的文件，用C#的方式读取，对比效率的影响。

1. FileStream对象表示在磁盘或网络路径上指向文件的流，操作的是字节和字节数组，可以用于任何数据文件，而不仅仅是文本文件，也可以读取类似图像和声音的文件
2. BufferedStream类主要用来处理流数据的，减少某些流直接操作存储设备的时间，提高读写效率，也可以读取字节，当读取文件的时候，用字节读取有可能会把字符分开，最后转换而成的字符可能就有问题。
3. StreamReader，StreamWriter 类操作的是字符数据，一般用于读写文件

#FileMode
1. Create：创建新文件；如果存在这样的文件，将重写
2. CreateNew：创建新文件，但是如果已经存在此文件，则抛出异常
3. Open：打开现有的文件，但是不存在所指定的文件，则抛出异常
4. OpenOrCreate：如果文件存在，则规定打开文件，否则就创建新文件
5. Truncate：打开现有文件，清除其内容
6. Append：如果文件存在，就打开文件，将文件位置移动到文件的末尾，否则创建一个新文件。

以下代码是在.net core环境下运行的

Stopwatch watch = new Stopwatch();
watch.Restart();
using (StreamWriter newFile = new StreamWriter(@"D:\gitPublic\NetFrameTest\NetFrameTest\NetCore\big4.txt"))
using (StreamReader reader = new StreamReader(@"D:\gitPublic\NetFrameTest\NetFrameTest\NetCore\test.txt"))
{
    string line;
    while ((line = reader.ReadLine()) != null)
    {
        newFile.WriteLine(line);
    }
}
watch.Stop();
Console.WriteLine($"StreamReader StreamWriter 程序运行花费的时间:{(double)watch.ElapsedMilliseconds / 1000:0.000} secs");

watch.Restart();
int length = 2048;
byte[] array = new byte[length];
int bytesRead = 0;
using (FileStream fileStream = new FileStream(@"D:\gitPublic\NetFrameTest\NetFrameTest\NetCore\test.txt", FileMode.Open))
using (FileStream newFile = new FileStream(@"D:\gitPublic\NetFrameTest\NetFrameTest\NetCore\test5.txt", FileMode.Create))
using (BufferedStream bufferedStream = new BufferedStream(fileStream))
{
    while ((bytesRead = bufferedStream.Read(array, 0, length)) > 0)
    {
        if (bytesRead == length)
            newFile.Write(array);
        else
            newFile.Write(array, 0, bytesRead);
    }
}
watch.Stop();
Console.WriteLine($"BufferedStream FileStream 程序运行花费的时间:{(double)watch.ElapsedMilliseconds / 1000:0.000} secs");

watch.Restart();
using (FileStream fileStream = new FileStream(@"D:\gitPublic\NetFrameTest\NetFrameTest\NetCore\test.txt", FileMode.Open))
using (StreamWriter newFile = new StreamWriter(@"D:\gitPublic\NetFrameTest\NetFrameTest\NetCore\test6.txt"))
using (BufferedStream bufferedStream = new BufferedStream(fileStream))
using (StreamReader reader = new StreamReader(fileStream))
{
    string line;
    while ((line = reader.ReadLine()) != null)
    {
        newFile.WriteLine(line);
    }
}
watch.Stop();
Console.WriteLine($"StreamReader StreamWriter(结合BufferedStream) 程序运行花费的时间:{(double)watch.ElapsedMilliseconds / 1000:0.000} secs");

没有读写文件的计算机性能

读写文件的时候计算机性能

当读写文件的时候，CPU和磁盘使用率提高，如果服务器经常读写文件的话，需要好的CPU和硬盘

3G的文件读写运行效率对比

小文件运行效率对比

对比以上结果，读取字节效率最高，增加BufferedStream的时候效率要比不增加的时候快

内容总结

以上是互联网集市为您收集整理的C#读取大文件全部内容，希望文章能够帮你解决C#读取大文件所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端