我有一个比较大的字典，这个字典的大小可能超过了机器可用的内存，我想把整个字典用 pickle 序列化，再 zlib 压缩一下，然后通过网络发送到另一台机子上，这个功能有简单一点的办法完成吗？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2665 days ago, the information mentioned may be changed or developed.
 |
keakonJul 29, 2019
1
直接把原始的字典文件压缩后传过去啊，不然另一台机器加载这个字典就内存溢出了。
|
 |
krixaarJul 29, 2019
2
既然是字典，存成个 sqlite 然后查询也可以吧？
|
 |
3
@keakon 感谢回答，可能问题有点不清楚，字典是程序运行过程中不断填充的，所以没有原始的字典文件。另一台机器加载字典内存溢出的问题暂时可以不考虑，可以想象另一台机器内存很大。
|
 |
Ehco1996Jul 29, 2019
4
pickle
|
|
5
@krixaar 感谢回答，sqlite 可能是目前能想到的最好的解决办法了，但是字典是程序运行过程中不断填充、修改、合并的，用 sqlite 效率有所下降，而且也比较麻烦，如果没有其他办法的话就用它
|
 |
silencefentJul 29, 2019
6
放磁盘里操作比 sqlite 效率低更多,磁盘的 io 不到内存的 1/20
|
|
7
@silencefent sqlite 也是基于磁盘的吧，按理说效率应该是差不多的？是有内存的 sqlite，但是数据在内存里放不下
|
|
silencefentJul 29, 2019
8
@linxy19957 但是 sqlite 可以让你决定一次取多少到内存里呀
|
|
9
@silencefent 我懂你的意思了，是我描述的不够，我的 value 占用空间较大，但是生成后存起来就行，是不参与运算的，运算的基本都是 key 部分
|
 |
RheinmetalJul 29, 2019
10
数据多的话就上数据库吧 缓存问题数据库引擎会给你解决的
你这个 k-v 型的上 redis ？ |
 |
lihongjie0209Jul 29, 2019
11
在另外的大内存机器上启动 redis, 计算还是放在这台机器
|
|
12
|
 |
lance86Jul 29, 2019
13
把数据用 MongoDB ？处理直接在数据库里
|
 |
F281M6Dh8DXpD1g2Jul 29, 2019
14
为啥你不把这个对象写到数据库里.......
|
 |
joson1205Jul 30, 2019
15
比较好奇数据对象是临时性保存还是永久性的?
|
Select Language