高速データ処理の鍵、Pythonライブラリ「Polars」を学ぼう

【Yuki】 Hirokiくん、こんにちは。今日はPythonでのデータ分析において、最近とても注目されている「Polars」というライブラリについてお話ししようと思います。 データ分析といえばPandasが有名ですが、Polarsはそれに代わる、あるいはそれ以上に強力な選択肢になるかもしれないツールなんです。

【Hiroki】 Yukiさん、こんにちは！Polars、名前は聞いたことがあります。でも、Pandasで十分なんじゃないかなって思っちゃうんですけど……。 Polarsを使うと、何かいいことがあるんですか？

【Yuki】 ふふ、そうですよね。慣れているものが一番使いやすいのは分かります。 でも、扱うデータの量が大きくなってくると、Pandasだと処理に時間がかかったり、メモリが足りなくなってエラーが出てしまうことがあるんです。 Polarsは、そんな悩みを解決するために生まれた「高速」で「メモリ効率が良い」ライブラリなんですよ。

Polarsがなぜ速いのか

【Hiroki】 「高速」っていうのは、具体的にどうしてなんですか？

【Yuki】 大きな理由は2つあります。一つは、PolarsがRustという非常にパフォーマンスの高い言語で書かれていることです。 もう一つは、「並列処理」を最大限に活用するように設計されているから、だと思います。 最近のコンピュータはCPUのコアがたくさんありますが、Polarsはそれを余すことなく使ってデータを処理してくれるんです。

【Hiroki】 なるほど、最新のパソコンの力を引き出せる設計になっているんですね。

【Yuki】 ええ、そうなんです。わたしは、誰かの役に立つために開発された、こういう効率的で小さなツールの話を聞くと、なんだか心が温かくなるというか……応援したくなってしまうんです。 Polarsも、データ処理に困っている誰かのために、一生懸命計算を効率化しているんだな、と感じます。

Polarsのインストールと準備

【Hiroki】 僕もその効率の良さを体験してみたいです！まずはどうすれば使えるようになりますか？

【Yuki】 インストールはとっても簡単ですよ。ターミナルやコマンドプロンプトで、いつものようにpipを使えば大丈夫です。

pip install polars

【Yuki】 これだけで準備完了です。実際にコードを書くときは、慣習として pl という名前でインポートすることが多いですね。

import polars as pl

【Hiroki】 Pandasが pd だから、Polarsは pl なんですね。覚えやすいです。

データの作成と基本操作

【Yuki】 まずは、簡単なデータを作って動かしてみましょう。Polarsではデータを「DataFrame」という形式で扱います。

import polars as pl

# データの作成
df = pl.DataFrame({
    "名前": ["Hiroki", "Yuki", "Mei", "Tanaka"],
    "年齢": [17, 22, 25, 20],
    "スコア": [85, 95, 80, 70]
})

print(df)

【Hiroki】 お、見た目はPandasと似ていますね。

【Yuki】 そうですね。でも、中身の仕組みは結構違うんです。 例えば、特定の条件でデータを絞り込む「フィルタ」や、特定の列を選ぶ「選択」という操作を見てみましょう。 Polarsでは、「Expression（式）」という考え方を使います。

# 年齢が20歳以上の人を抽出して、名前とスコアの列だけを表示する
result = df.filter(
    pl.col("年齢") >= 20
).select([
    "名前",
    "スコア"
])

print(result)

【Hiroki】 pl.col("年齢") という書き方をするんですね。

【Yuki】 はい。これがPolarsの特徴で、「どの列に対してどんな操作をするか」を明確に記述するんです。 この書き方をすることで、Polarsは内部で「どうすれば一番効率よく処理できるか」を計画できるようになるんですよ。

重要なコンセプト：EagerとLazy

【Hiroki】 「効率よく処理する計画」……ですか？

【Yuki】 ええ。ここがPolarsの面白いところなのですが、Polarsには「Eagerモード」と「Lazyモード」の2つがあります。 今までのコードは「Eager」といって、命令した瞬間に計算が実行されるものでした。 でも、本当の力を発揮するのは「Lazy（怠惰）」モードなんです。

【Hiroki】 怠惰……なんだか僕みたいですね（笑）

【Yuki】 ふふ、そんなことないですよ。でも、この「怠惰」はとても賢いんです。 Lazyモードでは、命令を受け取ってもすぐには実行せず、「どんな処理が必要か」という実行計画をまず作ります。 そして、最後に「結果を出して」と言われたときに、最も効率的なルートで一気に計算するんです。

【Hiroki】 例えば、どんなふうに効率的になるんですか？

【Yuki】 例えば、「100万行のデータから特定の列だけを選んで、さらに条件で絞り込む」という処理を考えてみてください。 普通にやると、100万行全部をメモリに読み込んでから処理しますが、Lazyモードなら「あ、この条件なら最初から必要な列だけ読み込めばいいな」とか「このデータは読み込まなくていいな」と判断して、メモリの使用量を劇的に減らしてくれるんです。

【Hiroki】 それはすごいですね！どうやって書くんですか？

【Yuki】 基本的には、lazy() というメソッドを呼び出すだけです。そして最後に collect() と書くと、溜めていた計算が実行されます。

# Lazyモードでの実行例
lazy_df = df.lazy()

query = lazy_df.filter(
    pl.col("年齢") > 20
).select([
    pl.col("名前"),
    pl.col("スコア") * 1.1  # スコアを1.1倍にする
])

# ここで初めて計算が実行される
final_result = query.collect()
print(final_result)

【Hiroki】 collect() を呼ぶまでは、計算のレシピを作っているようなイメージですね。

【Yuki】 その通りです。とっても分かりやすい例えですね。 大規模なCSVファイルを読み込むときも、pl.read_csv の代わりに pl.scan_csv を使うと、最初からLazyモードで読み込みを開始できるので、メモリを節約できます。

Expression APIの便利さ

【Hiroki】 さっきの pl.col を使った書き方、他にもいろいろできるんですか？

【Yuki】 はい、とっても柔軟ですよ。例えば、複数の条件を組み合わせたり、新しい列を作ったりするのも得意です。 with_columns というメソッドを使ってみましょう。

# 新しい列を追加する
df_with_status = df.with_columns([
    # 年齢が20歳以上なら「大人」、そうでなければ「未成年」という列を作る
    pl.when(pl.col("年齢") >= 20)
    .then(pl.lit("大人"))
    .otherwise(pl.lit("未成年"))
    .alias("区分")
])

print(df_with_status)

【Hiroki】 pl.when().then().otherwise() ……まるで英語の文章みたいで読みやすいです！

【Yuki】 そう言ってもらえると嬉しいです。 プログラミングって、後で読み返したときに何をしているか分かりやすいのが一番だと、わたしは思います。 複雑な条件も、このExpression APIを使えばすっきりと書けるはずです。

データの集計（Group By）

【Hiroki】 データの集計もやってみたいです。例えば、区分ごとの平均スコアを出すとか。

【Yuki】 もちろんできますよ。group_by（以前のバージョンでは groupby でしたが、現在は group_by が推奨されています）を使います。

# 区分ごとに集計する
summary = df_with_status.group_by("区分").agg([
    pl.col("年齢").mean().alias("平均年齢"),
    pl.col("スコア").max().alias("最高スコア"),
    pl.len().alias("人数") # その区分のデータ数
])

print(summary)

【Hiroki】 agg の中で、平均とか最大値をまとめて計算できるんですね。

【Yuki】 はい。しかも、これらの集計はすべて並列で行われるので、データ量が多くてもとても速いんです。 Polarsの内部では、データが効率よく分割されて、複数のCPUコアが協力して計算を終わらせてくれます。 ……なんだか、みんなで協力して一つのものを作り上げているみたいで、少し素敵だと思いませんか？

Pandasとの違いで注意すべき点

【Hiroki】 だんだんPolarsを使いたくなってきました。でも、Pandasから移行するときに気をつけることはありますか？

【Yuki】 そうですね、いくつか大切な違いがあります。 まず、Polarsには「インデックス」という概念がありません。 Pandasだと行に名前や番号がついていて、それを使ってアクセスすることがありましたが、Polarsは常に「列」ベースで考えます。

【Hiroki】 インデックスがない……。最初は少し戸惑うかもしれませんね。

【Yuki】 かもしれません。でも、インデックスがないおかげで、データの並び替えや結合が予測しやすく、高速になっているという側面もあるんです。 どうしても行番号が必要なときは、with_row_count() （新しいバージョンでは with_row_index()）を使えば、列として行番号を追加できますよ。

【Hiroki】 なるほど。他にはありますか？

【Yuki】 あとは、データの型にとても厳しいところですね。 Pandasは少し曖昧でもよしなに処理してくれますが、Polarsは整数型と浮動小数点型を混ぜて計算しようとするとエラーになることがあります。 でもそれは、バグを未然に防いでくれる優しさだ、とわたしは捉えています。 型を明示的に変換するときは cast を使います。

# 整数型の列を浮動小数点型(Float64)に変換する
df.with_columns(
    pl.col("年齢").cast(pl.Float64)
)

実践的なデータ加工の例

【Hiroki】 実際のデータ分析では、もっと複雑なことをしますよね。例えば、欠損値があったりとか……。

【Yuki】 そうですね。実世界のデータは、少し恥ずかしがり屋というか……完璧な形をしていないことが多いです。 欠損値の扱いや、文字列の操作もPolarsならスムーズですよ。

# 欠損値を含むデータ
df_na = pl.DataFrame({
    "名前": ["A", "B", "C"],
    "値": [10, None, 30]
})

# 欠損値を0で埋める
df_filled = df_na.with_columns(
    pl.col("値").fill_null(0)
)

# 文字列の操作
df_name = df.with_columns(
    pl.col("名前").str.to_uppercase().alias("大文字の名前")
)

【Hiroki】 .str や .fill_null など、直感的な名前のメソッドが多いので助かります。

【Yuki】 ふふ、良かったです。 Polarsはドキュメントも充実しているので、分からないことがあっても調べやすいと思います。 公式の User Guide は、とても丁寧に解説されていますよ。

Polarsを使ってみたくなったら

【Hiroki】 Yukiさん、ありがとうございます。Polarsのこと、少しずつ分かってきた気がします。 これから大きなデータを扱うときは、積極的にPolarsを使ってみようと思います。

【Yuki】 それは素敵な心がけだと思います。 もちろん、小さなデータや、これまで使い慣れたPandasのコードを無理に変える必要はありません。 でも、もし「処理が重いな」と感じたり、新しい技術に触れてみたいなと思ったら、ぜひPolarsを思い出してあげてください。 きっと、Hirokiくんの助けになってくれるはずです。

【Hiroki】 はい！まずは自分のPCにあるCSVファイルで、Lazyモードの速さを試してみますね。

【Yuki】 ええ、ぜひ試してみてください。 もし途中で迷ってしまったら、またいつでも聞いてくださいね。 わたしはいつでもここにいますし……夜なら、もっと集中してお手伝いできるかもしれません。 データの世界は広くて少し複雑ですが、一歩ずつ進んでいきましょう。

参考資料

【Yuki】 より深く学びたいときは、以下のサイトを参考にしてみてくださいね。

• Polars Documentation
• Polars Python API Reference
• Polars User Guide (English)

【Hiroki】 ありがとうございます！さっそくブックマークしておきます！

【Yuki】 はい。……あ、Hirokiくん、あまり夜更かししすぎないように気をつけてくださいね。 （わたしは夜の方が元気なんですけど……それは内緒です） それでは、今日の講義はおしまいです。お疲れ様でした。

【Hiroki】 お疲れ様でした！またよろしくお願いします！