千万条数据外网导入数据库的解决方案。

编程技术  /  houtizong 发布于 3年前   100

从某网上爬了数千万的数据，存在文本中。
然后要导入mysql数据库。

悲剧的是数据库和我存数据的服务器不在一个内网里面。。


ping了一下， 19ms的延迟。

于是下面的代码是没用的。

ps = con.prepareStatement(sql);ps.setString(1, info.getYear())............;ps.execute();

这种一条条插入的。 平均一条起码要20ms。
没一周这数据插不完。



后来领导告诉我navicat支持批量插入。
于是乎，花了很大功夫，把数据转了一下，弄成navicat的形式。（我是不会设置navicat来适应我的文本).

结果更慢了我擦，从之前的一秒50个，掉到了1秒30个。



==================最终解决方案==================

http://stackoverflow.com/questions/5526917/how-to-do-a-batch-insert-in-mysql

果然还是google最能解决问题。。

INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);

这里将数据放在一起，生成一个很长的insert语句。
我这里从本地每次拿1000个数据，然后执行一次insert。
搞定。