Pythonでデータベースにデータを一括挿入する方法（bulk insert）を完全解説！初心者でも安心

1. bulk insert（バルクインサート）とは？

1. bulk insert（バルクインサート）とは？

Python（パイソン）でデータベース操作をするとき、データを1件ずつ登録する方法があります。しかし、件数が多いと時間がかかります。bulk insert（バルクインサート）とは、複数のデータをまとめて一度に登録する方法です。

たとえば、100人分の名簿を1枚ずつ机に置くより、束ねて一気に置いた方が楽です。この考え方がbulk insertです。

2. Pythonとデータベースの基本的な関係

2. Pythonとデータベースの基本的な関係

Pythonはプログラミング言語です。データベースとは、情報を整理して保存する箱のようなものです。Pythonからデータベースに命令を出して、データを保存したり読み出したりします。

今回は初心者向けに、よく使われるSQLite（エスキューライト）というデータベースを使います。ファイル1つで使えるので、難しい準備がいりません。

3. 1件ずつデータを挿入する方法

3. 1件ずつデータを挿入する方法

まずは、1件ずつ登録する基本の形を見てみます。これを知っておくと、bulk insertとの違いが分かりやすくなります。

import sqlite3

conn = sqlite3.connect("sample.db")
cursor = conn.cursor()

cursor.execute(
    "INSERT INTO users (name, age) VALUES (?, ?)",
    ("太郎", 20)
)

conn.commit()
conn.close()

この方法では、登録するたびに命令を送ります。少ない件数なら問題ありませんが、多くなると時間がかかります。

4. bulk insertでまとめて挿入する基本例

4. bulk insertでまとめて挿入する基本例

ここからが本題です。Pythonでは、executemany（エグゼキュートメニー）という仕組みを使うと、データをまとめて登録できます。

import sqlite3

conn = sqlite3.connect("sample.db")
cursor = conn.cursor()

users = [
    ("花子", 22),
    ("次郎", 25),
    ("三郎", 30)
]

cursor.executemany(
    "INSERT INTO users (name, age) VALUES (?, ?)",
    users
)

conn.commit()
conn.close()

リストにまとめたデータを、一度の命令で登録しています。これがbulk insertです。

5. bulk insertが速い理由

5. bulk insertが速い理由

bulk insertが速い理由は、データベースとのやり取りが少なくなるからです。1件ずつだと、そのたびに「登録していいですか？」と確認します。

まとめて登録すると、「この箱を全部入れてください」と一度で済みます。通信や処理の回数が減るため、結果的に高速になります。

6. 大量データを扱うときの注意点

6. 大量データを扱うときの注意点

便利なbulk insertですが、注意点もあります。一度に大量すぎるデータを入れると、メモリを多く使ってしまいます。

その場合は、データを小分けにして何回かに分けて登録します。無理をせず、少しずつ運ぶイメージです。

for i in range(0, len(users), 100):
    batch = users[i:i+100]
    cursor.executemany(
        "INSERT INTO users (name, age) VALUES (?, ?)",
        batch
    )

7. よく使われるエラーと対処の考え方

7. よく使われるエラーと対処の考え方

初心者がつまずきやすいのは、テーブルが存在しない、列の数が合わない、といったミスです。これは箱の形と荷物の形が合っていない状態です。

エラーが出たら、テーブルの定義とデータの中身をゆっくり見比べてください。焦らず確認することが大切です。

8. bulk insertを使う場面の具体例

8. bulk insertを使う場面の具体例

CSVファイルの読み込み、アンケート結果の保存、ログデータの登録など、大量データを扱う場面でbulk insertは活躍します。

Pythonのデータベース操作に慣れてきたら、必ず使う基本技術の一つです。