サンプルコード集 (scikit-learn)

サンプルコード集

from sklearn.decomposition import PCA
import pandas as pd
import matplotlib.pyplot as plt


# ---- Config ----

CSV_FILE = "http://python.hisakatano.com/data/iris.csv"
OUTPUT_FILE_1 = "d-1_output_1.png"
OUTPUT_FILE_2 = "d-1_output_2.png"


# ---------------------------------------------------------
# PCAの次元圧縮結果のプロット
# ---------------------------------------------------------

def plot_pca_result(df, output_file):
    plt.clf()
    label_type = set(df["label"])
    for t in label_type:
        df2 = df.query('label=="%s"' % (t))
        plt.scatter(x=df2[0], y=df2[1], label=t)
    plt.legend()
    plt.grid()
    plt.xlabel("PC1")
    plt.ylabel("PC2")
    plt.savefig(output_file)
    return


# ---------------------------------------------------------
# メイン
# ---------------------------------------------------------

def main():
    # ---- (1) data frameでのデータ取得 ----
    df = pd.read_csv(CSV_FILE, index_col=None, header=0)
    print(df)

    # ---- (2) numpyに変換しデータ成形 ----
    x = df.iloc[:, 0:4].to_numpy() 

    # ---- (3) scikit-learnによる分析処理 ----
    pca = PCA(n_components=2)
    pca.fit(x)
    x0 = pca.transform(x)

    # ---- 次元圧縮結果の可視化 ----
    df2 = pd.DataFrame(x0)
    df2["label"] = df["species"]
    print(df2)
    plot_pca_result(df2, OUTPUT_FILE_1)

    # ---- 寄与度の可視化 ----
    df3 = pd.DataFrame(pca.components_.T)
    df3["label"] = df.columns[0:4]
    print(df3)
    plot_pca_result(df3, OUTPUT_FILE_2)

    return(0)


main()

from sklearn.linear_model import LinearRegression
import pandas as pd
import matplotlib.pyplot as plt


# ---- Config ----

CSV_FILE = "http://python.hisakatano.com/data/linear_regression_data.csv"
OUTPUT_FILE = "d-2_output.png"


# ---------------------------------------------------------
# メイン処理
# ---------------------------------------------------------

def main():
    # ---- (1) data frameでのデータ取得 ----
    df = pd.read_csv(CSV_FILE, index_col=None, header=0)
    print(df)

    # ---- (2) numpyに変換しデータ成形 ----
    data_na = df.to_numpy() 

    # ---- (3) scikit-learnによる分析処理 ----
    lr = LinearRegression()
    x = data_na[:, 0]
    y = data_na[:, 1]

    x = x.reshape(len(x), 1)    # xは行列にする。
                                # 今回は2次元データなのでNx1の行列。
    print(x)
    print(y)
    lr.fit(x, y)

    coef = lr.coef_[0]          # 傾き
    intercept = lr.intercept_   # 切片
    print("傾き: %f" % (coef))
    print("切片: %f" % (intercept))

    plt.scatter(x, y, color="red")
    plt.plot(x, lr.predict(x), color="blue")

    plt.grid()
    plt.savefig(OUTPUT_FILE)

    return(0)


main()

from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier
from sklearn.preprocessing import LabelEncoder
import pandas as pd
import numpy as np
import warnings


# ---- Config ----

warnings.simplefilter("ignore")     # 警告が表示されないようにする
CSV_FILE = "http://python.hisakatano.com/data/iris.csv"



# ---------------------------------------------------------
# MLPの学習
# ---------------------------------------------------------

def learn_mlp(x_arr, y_arr):
    print("Learning ... ")
    model = MLPClassifier(hidden_layer_sizes=(100,), max_iter=100, activation="relu", verbose=True)
    model.fit(x_arr, y_arr)
    print("Learning ... done")

    return(model)


# ---------------------------------------------------------
# メイン処理
# ---------------------------------------------------------

def main():
    # ---- (1) data frameでのデータ取得 ----
    df = pd.read_csv(CSV_FILE, index_col=None, header=0)
    print(df)

    x_df = df.iloc[:, 0:4]
    y_df = df.iloc[:, 4]

    # ---- (2) numpy arrayに変換しデータ成形 ----
    x_arr = x_df.to_numpy()
    y_arr = y_df.to_numpy()

    print(x_arr[0:5])
    print(y_arr[0:5])

    # ---- (3) scikit-learnによる分析処理 ----
    # ラベルを数値に変換 ("setosa"->0, "versicolour"->1, "virginica"->2)
    le = LabelEncoder()
    y_arr = le.fit_transform(y_arr)
    print(y_arr[0:5])

    # モデルの学習
    model = learn_mlp(x_arr, y_arr)

    # スコアの確認
    # 0.9以上であればだいたいOK
    score = model.score(x_arr, y_arr)
    print("Score: %.2f" % (score))

    # モデルのテスト
    tmp_data = np.array([[7.4,2.8,6.1,1.9]])    # テストデータは行列(二次元配列)にする
    y = model.predict(tmp_data)

    for i in range(0, 4):
        print("%s: %f" % (df.columns[i], tmp_data[0][i]))
    print("の品種は")
    print(le.inverse_transform(y)[0])   # ラベルの数値を文字列に戻す

    return(0)


main()