如何加载1G的数据到数组里面?

内存:8G

现把1G数据加载到数组中,以便进行计算,出现内存不足

有什么方法解决?

这方面刚入门,不太懂,请教!

ps:这点数据还不至于分布式

试试numpy?
http://wiki.scipy.org/Cookbook/InputOutput

单个脚本对内存都基本有设上限。

发表评论

电子邮件地址不会被公开。 必填项已用*标注