Pythonによる相関分析と可視化
相関分析は、2つ以上の変数間の線形関係の強さと方向を数値化する統計的手法です。Pythonでは、`pandas`ライブラリと`matplotlib`、`seaborn`ライブラリを組み合わせることで、容易に相関分析を実行し、その結果を視覚化することができます。
相関分析の基礎
相関分析は、主に「相関係数」を用いて行われます。相関係数は-1から+1の間の値を取り、以下のような意味を持ちます。
- +1: 完全な正の線形相関
- 0: 線形相関なし
- -1: 完全な負の線形相関
一般的に、絶対値が0.7以上であれば強い相関、0.3から0.7の範囲であれば中程度の相関、0.3未満であれば弱い相関と見なされます。
ピアソンの積率相関係数
最も一般的に使用される相関係数で、2つの連続変数の線形関係を測定します。データが正規分布に従う場合に適しています。
ケンドールの順位相関係数
順序尺度データや、データが正規分布に従わない場合に適しています。2つの変数の順序の一致度を測定します。
スピアマンの順位相関係数
ケンドールと同様に、順序尺度データや正規分布に従わないデータに適しています。各変数の順位に基づいて計算されます。
Pythonでの相関分析の実装
Pythonで相関分析を行うには、主に`pandas`ライブラリのDataFrameオブジェクトが便利です。
データの準備
まず、分析したいデータを`pandas` DataFrameとして読み込みます。CSVファイルやExcelファイルなど、様々な形式から読み込むことができます。
例:
“`python
import pandas as pd
# サンプルデータの作成
data = {‘A’: [1, 2, 3, 4, 5],
‘B’: [5, 4, 3, 2, 1],
‘C’: [2, 4, 5, 4, 2]}
df = pd.DataFrame(data)
print(“元のデータフレーム:”)
print(df)
“`
相関行列の計算
DataFrameの`.corr()`メソッドを使用すると、変数間の相関行列を簡単に計算できます。デフォルトではピアソンの積率相関係数が計算されます。
例:
“`python
# 相関行列の計算
correlation_matrix = df.corr()
print(“n相関行列:”)
print(correlation_matrix)
“`
相関行列の解釈
計算された相関行列は、各変数ペア間の相関係数を示しています。対角成分は常に1（変数自身との相関）です。行列は対称であり、片方の三角部分を見れば十分です。
相関分析結果の可視化
相関行列を視覚化することで、変数間の関係性を直感的に理解しやすくなります。
ヒートマップ
`seaborn`ライブラリの`heatmap()`関数は、相関行列を色で表現するヒートマップを作成するのに非常に効果的です。色の濃淡や色合いで相関の強さや方向を表現できます。
例:
“`python
import matplotlib.pyplot as plt
import seaborn as sns
# ヒートマップの作成
plt.figure(figsize=(8, 6))
sns.heatmap(correlation_matrix, annot=True, cmap=’coolwarm’, fmt=”.2f”)
plt.title(‘相関行列ヒートマップ’)
plt.show()
“`
annot=True: 各セルに相関係数の値を表示します。cmap='coolwarm': 色のカラーマップを指定します。’coolwarm’は、正の相関を暖色系、負の相関を寒色系で表現します。fmt=".2f": 数値の表示形式を指定します。ここでは小数点以下2桁で表示しています。
散布図行列 (Scatter Plot Matrix)
`pandas`の`.scatter_matrix()`メソッドや`seaborn`の`pairplot()`関数を使用すると、変数ペアごとの散布図を一覧で表示できます。対角線上には各変数のヒストグラムやカーネル密度推定値が表示されることもあり、データの分布も同時に確認できます。
例 (pandas):
“`python
pd.plotting.scatter_matrix(df, alpha=0.8, figsize=(10, 10), diagonal=’kde’)
plt.suptitle(‘散布図行列 (pandas)’)
plt.show()
“`
例 (seaborn):
“`python
sns.pairplot(df)
plt.suptitle(‘散布図行列 (seaborn)’)
plt.show()
“`
散布図行列は、特に多数の変数がある場合に、変数間の個々の関係性を視覚的に把握するのに役立ちます。
注意点と応用
相関関係と因果関係の区別
相関関係は「関係がある」ことを示しますが、「一方が他方を引き起こしている」という因果関係を意味するわけではありません。見かけ上の相関（第三の要因が両方の変数に影響している場合など）も存在するため、結果の解釈には注意が必要です。
非線形関係
ピアソンの相関係数は線形関係しか捉えられません。もし変数間に強い非線形関係がある場合、相関係数は低くなる可能性があります。このような場合は、散布図で確認したり、他の統計手法を検討したりする必要があります。
外れ値の影響
相関分析、特にピアソンの相関係数は外れ値の影響を受けやすい傾向があります。分析前にデータのクリーニングや外れ値の検出を行うことが重要です。
相関分析の応用
- 特徴量選択: 機械学習モデルにおいて、目的変数との相関が高い特徴量を選択するために使用されます。
- データ探索: データセット内の変数間の関係性を理解し、新たな仮説を立てるための出発点となります。
- リスク分析: 金融分野などで、資産間の相関を分析し、ポートフォリオのリスクを評価するために利用されます。
まとめ
Pythonにおける相関分析は、`pandas`の`.corr()`メソッドによる相関行列の計算と、`seaborn`や`matplotlib`を用いたヒートマップや散布図行列による視覚化を組み合わせることで、効率的かつ直感的に行うことができます。これらの手法を理解し活用することで、データに潜む変数間の関係性を深く掘り下げ、データに基づいた意思決定を行うことが可能になります。しかし、相関関係が必ずしも因果関係ではないこと、非線形関係や外れ値の影響に留意することが、正確な分析結果を得る上で不可欠です。
