python – 使用Django将数千条记录插入SQLite表的有效方法是什么？

我必须使用Django的ORM将8000条记录插入到SQLite数据库中.此操作需要每分钟大约运行一次cronjob.
目前我正在使用for循环迭代所有项目,然后逐个插入它们.
例：

for item in items:
    entry = Entry(a1=item.a1, a2=item.a2)
    entry.save()

这样做的有效方法是什么？

编辑：两种插入方法之间的一点比较.

没有commit_manually装饰器(11245条记录)：

nox@noxdevel marinetraffic]$time python manage.py insrec             

real    1m50.288s
user    0m6.710s
sys     0m23.445s

使用commit_manually decorator(11245条记录)：

[nox@noxdevel marinetraffic]$time python manage.py insrec                

real    0m18.464s
user    0m5.433s
sys     0m10.163s

注意：除了插入数据库之外,测试脚本还执行一些其他操作(下载ZIP文件,从ZIP存档中提取XML文件,解析XML文件),因此执行所需的时间不一定代表插入所需的时间记录.

解决方法:

你想看看django.db.transaction.commit_manually.

http://docs.djangoproject.com/en/dev/topics/db/transactions/#django-db-transaction-commit-manually

所以它会是这样的：

from django.db import transaction

@transaction.commit_manually
def viewfunc(request):
    ...
    for item in items:
        entry = Entry(a1=item.a1, a2=item.a2)
        entry.save()
    transaction.commit()

这将只提交一次,而不是每次save().

在django 1.3环境中,介绍了管理者.
所以现在你可以用类似的方式使用transaction.commit_on_success()：

from django.db import transaction

def viewfunc(request):
    ...
    with transaction.commit_on_success():
        for item in items:
            entry = Entry(a1=item.a1, a2=item.a2)
            entry.save()

在django 1.4中添加了bulk_create,允许您创建模型对象的列表,然后一次提交它们.

注意使用批量创建时不会调用save方法.

>>> Entry.objects.bulk_create([
...     Entry(headline="Django 1.0 Released"),
...     Entry(headline="Django 1.1 Announced"),
...     Entry(headline="Breaking: Django is awesome")
... ])

在django 1.6中,引入了transaction.atomic,旨在替换现在的遗留函数commit_on_success和commit_manually.

来自django documentation on atomic：

原子可用作装饰器：

from django.db import transaction

@transaction.atomic
def viewfunc(request):
    # This code executes inside a transaction.
    do_stuff()

并作为上下文管理器：

from django.db import transaction

def viewfunc(request):
    # This code executes in autocommit mode (Django's default).
    do_stuff()

    with transaction.atomic():
        # This code executes inside a transaction.
        do_more_stuff()

【说明】：本文章由站长整理发布，文章内容不代表本站观点，如文中有侵权行为，请与本站客服联系(QQ:254677821)！