超大文本文件数据导入MYSQL

Mysql  /  houtizong 发布于 2年前   265

今天用到一个处理650万的数据导入数据库处理的问题，在网上找了半天，终于在在三灯的博客找到办法，特此转过来以备后用，哈哈！

我执行的命令语句是mysqlimport -uroot -p123456 -L -v --fields-terminated-by=, all hongjun.txt





以下原文转载：http://blog.sina.com.cn/s/blog_406127500100jagk.html






mysqlimport -uroot -pEastlinden -L -v --fields-terminated-by=$$ searchpatentDZ D:\3.0\temp_law_en.txt




第一次使用mysqlimport工具还真是费了不少功夫。总结下来最需要注意的有两点：

1.把导入文件转换为linux格式：如果是windows下编辑的文件，需要把\r去掉，否则此\r会被导入到字段的值里；

2.导入文件的字符集一定要与对应表的字段的字符集一至，否则很 可能导成乱码；mysqlimport虽然有一个设置字符集的参数，但是不太清楚是做什么用的，设置了以后，并没有做编码转换；




大容量的文件导入MYSQL方法（LINUX系统）：
在使用MYSQLIMPORT导入大容量数据时，mysql一定会提示导入不成功，让你设置大的缓存，但是究竟设多大你也不好界定，所以我们可以从导入的原始文件入手，把他拆分为小的文件。
涉及到的工具：
1.使用MYSQL自带的导入工具MYSQLIMPORT
2.使用LINUX自带的拆分工具SPLIT
步骤：
1.使用SPLIT命令拆分源文件，拆分多大由你控制。
   命令格式：
             split －l 行数源文件
             （通过行数来控制文件的大小）
这时系统会将文件拆分成小文件，每个文件的行数是你自己定义的。拆分的文件名有系统自动生成。
2.使用MYSQLIMPORT导入数据。
   mysqlimport的命令详解
.mysqlimport的常用选项介绍:
    选项             功能
-L                 导入本地文件
-d or --delete     新数据导入数据表中之前删除数据数据表中的所有信息
-f or --force     不管是否遇到错误，mysqlimport将强制继续插入数据
-i or --ignore     mysqlimport跳过或者忽略那些有相同唯一关键字的行，导入文件中的数据将被忽略。
-l or -lock-tables 数据被插入之前锁住表，这样就防止了，你在更新数据库时，用户的查询和更新受到影响。
-r or -replace     这个选项与－i选项的作用相反；此选项将替代表中有相同唯一关键字的记录。
--fields-enclosed- by= char
          指定文本文件中数据的记录时以什么括起的， 很多情况下数据以双引号括起。 默认的情况下数据是没有被字符括起的。
--fields-terminated- by=char
          指定各个数据的值之间的分隔符，在句号分隔的文件中，分隔符是句号。您可以用此选项指定数据之间的分隔符。默认的分隔符是跳格符（Tab）
--lines-terminated- by=str
          此选项指定文本文件中行与行之间数据的分隔字符串或者字符。 默认的情况下mysqlimport以newline为行分隔符。
          您可以选择用一个字符串来替代一个单个的字符：一个新行或者一个回车。
mysqlimport命令常用的选项还有-v 显示版本（version）， -p 提示输入密码（password）等。

3）.例子：导入一个以逗号为分隔符的文件文件中行的记录格式是这样的：
1,werwer,345345,585858
命令：
./mysqlimport -u用户名 -p密码 -L -v --fields-terminated-by=, 库名表名.txt
表名.TXT这里需要注意的是，要把split拆分的文件重命名为表名.txt(在LINUX下重命名可以用mv 源文件名目的文件名),这样MYSQLIMPORT才能导入到你想导入的表中，比如库名是city,表名是sms,那么命令就应该为:./mysqlimport -u用户名 -p密码 -L -v --fields-terminated-by=, city sms.txt
经过我的测试，MYSQLIMPORT这个工具的导入速度是相当的快的2G的文件有10分钟就可以了(机器的配置是至强2.1，内存2G)




-----------------------------------------------------------------------------------

　1）.mysqlimport的语法介绍：

　　 mysqlimport位于mysql/bin目录中，是mysql的一个载入（或者说导入）数据的一个非常有效的工具。这是一个命令行工具。有两个参数以及大量的选项可供选择。这个工具把一个文本文件（text file）导入到你指定的数据库和表中。比方说我们要从文件Customers.txt中把数据导入到数据库Meet_A_Geek中的表 Custermers中：
　　mysqlimport Meet_A_Geek Customers.txt
　　注意：这里 Customers.txt是我们要导入数据的文本文件， 而Meet_A_Geek是我们要操作的数据库，
　　数据库中的表名是 Customers，这里文本文件的数据格式必须与Customers表中的记录格式一致，否则mysqlimport命令将会出错。其中表的名字是导入文件的第一个句号（.）前面文件字符串，另外一个例子：
　　mysqlimport Meet_A_Geek Cus.to.mers.txt
　　那么我们将把文件中的内容导入到数据库Meet_A_Geek 中的Cus表中。
　　上面的例子 中，都只用到两个参数，并没有用到更多的选项，下面介绍mysqlimport的选项
　　
　　2）.mysqlimport的常 用选项介绍:

　　选项 功能
　　-d or --delete 新数据导入数据表中之前删除数据数据表中的所有信息
　　-f or --force 不管是否遇到错误，mysqlimport将强制继续插入数据
　　-i or --ignore mysqlimport跳过或者忽略那些有相同唯一关键字的行， 导入文件中的数据将被忽略。
　　-l or -lock-tables 数据被插入之前锁住表，这样就防止了，你在更新数据库时，用户的查询和更新受到影响。
　　-r or -replace 这个选项与－i选项的作用相反；此选项将替代表中有相同唯一关键字的记录。
　　--fields-enclosed- by= char
　 　指定文本文件中数据的记录时以什么括起的， 很多情况下数据以双引号括起。 默认的情况下数据是没有被字符括起的。
　　 --fields-terminated- by=char
　　指定各个数据的值之间的分隔符，在句号分隔的文件中，分隔符是句号。您可以用此选项指定数据之间的分隔符。默认的分隔符是跳格符（Tab）
　　--lines-terminated- by=str
　　此选项指 定文本文件中行与行之间数据的分隔字符串 或者字符。 默认的情况下mysqlimport以newline为行分隔符。您可以选择用一个字符串来替代一个单个的字符： 一个新行或者一个回车。
　　mysqlimport命令常用的选项还有-v 显示版本（version）， -p 提示输入密码（password）等。
　　
　　3）.例子：导入一个以逗号为分隔符的文件

　　文件中行的记录格式是这样的：
　　"1", "ORD89876", "1 Dozen Roses", "19991226"
　　我们的任务是要把这个文件里面的数据导入到数据库Meet_A_Geek中的表格Orders中， 我们使用这个命令:
　　 bin/mysqlimport –prl –fields-enclosed-by=" –fields-terminated-by=, Meet_A_Geek Orders.txt
　　这个命令可能看起来很不爽，不过当你熟悉了之后，这是非常简单的。第一部 分，bin/mysqlimport ,告诉操作系统你要运行的命令是mysql/bin目录下的mysqlimport，选项p是要求输入密码，这样就要求你在改动数据库之前输入密码，操作起来会更安全。我们用了r选项是因为我们想要把表中的唯一关键字与文件记录中有重复唯一关键字的记录替换成文件中的数据。我们表单中的数据不是最新的，需要用文件中的数据去更新，因而就用r这个选项，替代数据库中已经有的记录。l选项的作用是在我们插入数据的时候锁住表，这样就阻止了用户在我们更新表的时候对表进行查询或者更改的操作。