求助一下大家,我手上有一些历史数据想要导入到数据库( 100 多 G ),数据库是 PostgreSQL
然而问题是导入非常缓慢,慢到无法接受,请大家给我出个主意。
数据库是这样的:
表 1 :数据源信息 - (id, 文件名,数据时间,导入时间)
表 2 :数据子项 A - ( id, 属性若干,数据源 id )
表 3 :数据子项 B - ( id, 属性若干,数据源 id )
表 4 :数据关联 - (数据子项 A_id ,数据子项 B_id )
数据源和数据项是一对多的关系,单条数据项会根据需要分别存入 A 和 B 两个表,由额外的关联表来标出他们的联系。
我的办法是这样的,用 peewee 连接数据库,然后就那么正常的 create 对象,然而用不用事务都很慢。
从前倒是有过用 csv 导入数据,很快,但是这次涉及外键我也就没有太好的办法,求助!
然而问题是导入非常缓慢,慢到无法接受,请大家给我出个主意。
数据库是这样的:
表 1 :数据源信息 - (id, 文件名,数据时间,导入时间)
表 2 :数据子项 A - ( id, 属性若干,数据源 id )
表 3 :数据子项 B - ( id, 属性若干,数据源 id )
表 4 :数据关联 - (数据子项 A_id ,数据子项 B_id )
数据源和数据项是一对多的关系,单条数据项会根据需要分别存入 A 和 B 两个表,由额外的关联表来标出他们的联系。
我的办法是这样的,用 peewee 连接数据库,然后就那么正常的 create 对象,然而用不用事务都很慢。
从前倒是有过用 csv 导入数据,很快,但是这次涉及外键我也就没有太好的办法,求助!