程序的目的是把文本里面的数据存储到数据库中，原来的思路是读一条，插入一条，结果就是时间长的不得了。。。18万条的数据，真是慢。
后来的想法是把所有的记录都读到一个list里，结果是mysql奔溃go away，毕竟18万条，太多了。
再后来的想法就是满1000条进行一次插入，O(∩_∩)O哈哈~，效果不错，mysql没崩溃，效率提高了好几个量级。
import
MySQLdb
import
codecs
def
FileToDatabase(file):
conn = MySQLdb.connect(host=‘yourhost‘,user=‘username‘,passwd=‘yourpwd‘,db=‘yourdb‘)
curs = conn.cursor()
fp = codecs.open(file,‘r‘,‘gb2312‘)//文本编码是gb2312，所以以此方式打开
i = 0
L = []
for eachline in fp:
i = i + 1
list = newline.split(‘,‘)
L.append(list)
if i % 1000 == 0:#满1000插入数据库#try:#当插入的字段并非table的全部字段时，要指定插入的字段及顺序与value内的值一致
curs.executemany("insert into season1(word1,word2,word3,word4) values(%s,%s,%s,%s)",L)
conn.commit()#没有提交的话，无法插入
L = []
#except: conn.rollback print‘No.:‘+str(i)
#print newline fp.close()
#try:#将剩余插入数据库
curs.executemany("insert into season1(word1,word2,word3,word4) values(%s,%s,%s,%s)",L)
conn.commit()
#except: conn.rollback()
conn.close()
对于数据库的rollback还是不太理解，以后有机会再深入了解吧
原文：http://www.cnblogs.com/idealing/p/3606644.html
【说明】：本文章由站长整理发布，文章内容不代表本站观点，如文中有侵权行为，请与本站客服联系(QQ:254677821)！