特徴量関連性分析の完全ガイド — 冗長な特徴量を見つけて特徴量選択に活かす

import pandas as pd
import numpy as np
from scipy.stats import pearsonr, spearmanr
from sklearn.feature_selection import mutual_info_regression

def association_matrix(df: pd.DataFrame) -> pd.DataFrame:
    """
    数値・カテゴリ混在データの統合関連度マトリクスを計算する。
    数値×数値: |Spearman|、数値×カテゴリ: 相関比、カテゴリ×カテゴリ: Cramér's V
    """
    cols = df.columns
    n = len(cols)
    matrix = pd.DataFrame(np.eye(n), index=cols, columns=cols)

    numeric_cols = df.select_dtypes(include="number").columns
    cat_cols = df.select_dtypes(exclude="number").columns

    for i in range(n):
        for j in range(i + 1, n):
            ci, cj = cols[i], cols[j]
            if ci in numeric_cols and cj in numeric_cols:
                # 数値 × 数値: |Spearman|
                val = abs(spearmanr(df[ci], df[cj]).statistic)
            elif ci in cat_cols and cj in cat_cols:
                # カテゴリ × カテゴリ: Cramér's V
                val = cramers_v(df[ci], df[cj])
            else:
                # 数値 × カテゴリ: 相関比 η²
                num_col = ci if ci in numeric_cols else cj
                cat_col = cj if cj in cat_cols else ci
                val = correlation_ratio(df[cat_col], df[num_col])
            matrix.iloc[i, j] = val
            matrix.iloc[j, i] = val

    return matrix

# 使い方
# assoc = association_matrix(df)
# sns.heatmap(assoc, annot=True, cmap="YlOrRd")

import numpy as np
import pandas as pd
from scipy.cluster.hierarchy import linkage, dendrogram, fcluster
from scipy.spatial.distance import squareform
import matplotlib.pyplot as plt

# 関連度マトリクスから距離行列を計算
# assoc_matrix は association_matrix() で計算済みの DataFrame
assoc_matrix = pd.DataFrame(
    np.random.uniform(0.1, 0.9, (8, 8)),
    index=[f"特徴量_{i}" for i in range(8)],
    columns=[f"特徴量_{i}" for i in range(8)],
)
np.fill_diagonal(assoc_matrix.values, 1.0)
assoc_matrix = (assoc_matrix + assoc_matrix.T) / 2  # 対称化

distance_matrix = 1 - assoc_matrix
condensed = squareform(distance_matrix, checks=False)

# 階層クラスタリング
Z = linkage(condensed, method="complete")

# デンドログラムの描画
fig, ax = plt.subplots(figsize=(10, 5))
dendrogram(Z, labels=assoc_matrix.columns, ax=ax, leaf_rotation=45)
ax.set_ylabel("距離 (1 - 関連度)")
ax.set_title("特徴量の階層クラスタリング")
ax.axhline(y=0.3, color="r", linestyle="--", label="閾値 0.3")
ax.legend()
plt.tight_layout()
plt.show()

# 閾値でクラスターを取得
clusters = fcluster(Z, t=0.3, criterion="distance")
for i, col in enumerate(assoc_matrix.columns):
    print(f"{col}: クラスター {clusters[i]}")

import pandas as pd
import numpy as np
from sklearn.feature_selection import mutual_info_classif, mutual_info_regression
from sklearn.datasets import make_classification

# サンプルデータの作成（分類タスク）
X, y = make_classification(
    n_samples=1000,
    n_features=20,
    n_informative=5,   # 有用な特徴量は 5 つ
    n_redundant=5,      # 冗長な特徴量は 5 つ
    n_repeated=0,
    random_state=42,
)
feature_names = [f"特徴量_{i}" for i in range(20)]

# ターゲットとの相互情報量を計算
mi_scores = mutual_info_classif(X, y, random_state=42)

# ランキング表示
mi_ranking = pd.DataFrame({
    "特徴量": feature_names,
    "MI": mi_scores,
}).sort_values("MI", ascending=False)

print("ターゲットとの相互情報量ランキング:")
print(mi_ranking.to_string(index=False))

# 閾値でフィルタリング（上位 10 特徴量を選択）
top_features = mi_ranking.head(10)["特徴量"].tolist()
print(f"\n選択された特徴量: {top_features}")