我有一个很大的泡菜文件,其中包含数百个经过训练的python r模型：这些是使用rpy2库构建的统计模型. 我有一个类,每次调用它的一个方法时都会加载该pickle文件(该方法在循环中多次调用).碰巧,即使没有引用指向加载的内容,也无法释放加载pickle文件内容所需的内存(大约100 MB).我正确打开和关闭输入文件.我还尝试在每次迭代时重新加载pickle模块(甚至rpy).没有什么变化.似乎只是加载内容会永久锁定某些内存.解决方法:我可以重现该问题...
我有一个程序想要从命令行多次调用,但涉及读取一个大的pickle文件,因此每次调用可能都很昂贵.有什么方法可以让cPickle将文件映射到内存而不是完整地读取它？解决方法:您可能甚至不需要明确地执行此操作,因为您的操作系统的磁盘缓存可能已经做得非常好. 任何糟糕的性能实际上可能与反序列化的成本有关,而不是从磁盘读取它的成本.您可以通过创建临时ram磁盘并将文件放在那里来测试它. 并且消除反序列化成本的方法是将文件的加载移动到...