为什么这个C#数据处理应用程序的吞吐量远低于服务器的原始功能?
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了为什么这个C#数据处理应用程序的吞吐量远低于服务器的原始功能?,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1832字,纯文字阅读大概需要3分钟。
内容图文
我已经整理了一个小测试工具,以诊断为什么我的C#数据处理应用程序的吞吐量(其核心功能使用非阻塞IO从远程数据库服务器批量选择100个记录并对它们执行简单处理)远低于它可能是.我观察到,在运行时,应用程序不会遇到CPU(<3%),网络或磁盘IO或RAM方面的瓶颈,并且不会对数据库服务器造成压力(数据库上的数据集几乎总是完全在RAM).如果我并行运行应用程序的多个实例,我可以达到~45个实例,延迟仅降低约10%,但在数据库服务器上的CPU利用率成为瓶颈之前吞吐量增加45倍(此时,那里仍然没有客户端的资源瓶颈). 我的问题是,当客户端服务器能够大幅提高吞吐量时,为什么TPL不增加飞行中的任务数量或以其他方式增加吞吐量? 简化代码摘录:
public static async Task ProcessRecordsAsync()
{
int max = 10000;
var s = new Stopwatch();
s.Start();
Parallel.For(0, max, async x =>
{
await ProcessFunc();
});
s.Stop();
Console.WriteLine("{2} Selects completed in {0} ms ({1} per ms).", s.ElapsedMilliseconds, ((float)s.ElapsedMilliseconds) / max, max);
}
public static async Task ProcessFunc()
{
string sql = "select top 100 MyTestColumn from MyTestTable order by MyTestColumn desc;";
string connStr = "<blah>...";
using (SqlConnection conn = new SqlConnection(connStr))
{
try
{
conn.Open();
SqlCommand cmd = new SqlCommand(sql, conn);
DbDataReader rdr = await cmd.ExecuteReaderAsync();
while (rdr.Read())
{
// do simple processing here
}
rdr.Close();
}
catch (Exception ex)
{
Console.WriteLine(ex.ToString());
}
}
}
解决方法:
Parallel For不会试图扼杀处理器的生命,并最大限度地增加为您工作的并发线程数.它使用核心数作为起点,并可能根据工作负载的性质而提升.见this question.
实际上,在打开连接和读取行时,实际上确实有阻塞IO ….您可以尝试这样做:
//....
using (var conn = new SqlConnection(connStr))
{
await conn.OpenAsync();
SqlCommand cmd = new SqlCommand(sql, conn);
try
{
using ( var rdr = await cmd.ExecuteReaderAsync())
{
while (await rdr.ReadAsync())
{
// do simple processing here
}
}
}
catch (Exception ex)
{
Console.WriteLine(ex.ToString());
}
}
//...
内容总结
以上是互联网集市为您收集整理的为什么这个C#数据处理应用程序的吞吐量远低于服务器的原始功能?全部内容,希望文章能够帮你解决为什么这个C#数据处理应用程序的吞吐量远低于服务器的原始功能?所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。