【Python】for文とメモリ管理

for文のメモリ使用量

Pythonのfor文はリストやイテラブルを順番に処理するが、その際のメモリ使用量はデータの格納方法によって変わる。例えば、リストを直接for文で処理する場合、すべての要素がメモリ上に格納されるため、大きなリストを扱うとメモリ消費が激しくなる。

numbers = list(range(10**6))  # 100万個の整数を持つリスト
for num in numbers:
    pass  # 何もしない

この場合、リストがメモリを圧迫する可能性がある。代わりに、ジェネレータを使用すれば、メモリ使用量を抑えることができる。

リスト内包表記は簡潔にコードを書けるが、メモリ効率には注意が必要。

data = [x**2 for x in range(10**6)]

上記のコードは、100万個の要素をすべてメモリに格納するため、大量のメモリを消費する。メモリを節約したい場合は、ジェネレータ式を使う。

data = (x**2 for x in range(10**6))  # ()を使うとジェネレータになる

ジェネレータ式を使うと、データを一度に1つずつ生成するため、メモリ消費が抑えられる。

Pythonのジェネレータはメモリ節約に非常に有効。リストを作成せずにfor文で処理できる。

def generate_numbers():
    for i in range(10**6):
        yield i**2  # 値を一つずつ返す

for num in generate_numbers():
    pass  # 何もしない

この場合、全ての要素を一度にメモリに格納するのではなく、必要なタイミングで値を生成するため、メモリ使用量が大幅に減る。

itertoolsはメモリ効率の良いイテレータを提供する標準ライブラリ。例えば、`itertools.islice`を使うと、一部のデータだけを処理できる。

from itertools import islice

numbers = range(10**6)  # rangeはイテレータ
for num in islice(numbers, 1000, 2000):  # 1000番目から2000番目だけ処理
    pass

この方法なら、リストを丸ごとメモリに格納せずに済む。

enumerateはインデックス付きでイテレートできる便利な関数だが、リストで使うとメモリ消費が増えることもある。

data = list(range(10**6))
for i, value in enumerate(data):
    pass

しかし、`range`やジェネレータと組み合わせるとメモリ効率が良くなる。

for i, value in enumerate(range(10**6)):
    pass

この方法では、リストを事前に作成せずにfor文で処理できる。