Pythonでデータの分布を正規化・標準化

プログラミング

2025.12.28

Pythonによるデータの分布の正規化・標準化

Pythonによるデータの分布の正規化・標準化

データ分析において、データの分布を調整することは、多くの機械学習アルゴリズムや統計的手法で良好な性能を得るために不可欠です。この調整プロセスには、主に正規化と標準化の二つの手法が用いられます。Pythonでは、これらの処理を容易に実行するためのライブラリが豊富に用意されており、中でもscikit-learnライブラリがその中心的な役割を担っています。

データの正規化と標準化は、それぞれ異なる目的と適用場面を持っています。どちらの手法を選択するかは、扱うデータの特性や、適用するアルゴリズムの要求によります。以下に、それぞれの詳細について解説します。

正規化 (Normalization)

正規化は、データの値を特定の範囲、一般的には0から1、あるいは-1から1の間にスケーリングする手法です。これにより、各特徴量の値の絶対的な大きさに依存するアルゴリズム（例えば、距離ベースのアルゴリズムなど）において、特徴量間の影響度を均等にすることができます。

Min-Max Scaling

最も一般的な正規化手法は、Min-Max Scaling（最小最大スケーリング）です。この手法では、データの最小値を0、最大値を1にマッピングし、それ以外の値も線形にスケーリングします。

数式で表すと、以下のようになります。

X_scaled = (X - X_min) / (X_max - X_min)

ここで、Xは元のデータ、X_minはデータの最小値、X_maxはデータの最大値です。

Pythonでの実装例は以下のようになります。


from sklearn.preprocessing import MinMaxScaler
import numpy as np

data = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

scaler = MinMaxScaler()
normalized_data = scaler.fit_transform(data)

print(normalized_data)

このコードは、dataというNumPy配列の各列（特徴量）に対してMin-Max Scalingを適用します。fit_transformメソッドは、データの最小値と最大値を学習し（fit）、それを用いてデータをスケーリング（transform）します。

Max Absolute Scaling

Max Absolute Scalingは、データの絶対値の最大値を1にスケーリングする手法です。これは、データの符号を保持したい場合に有効です。値は-1から1の範囲にスケーリングされます。

数式では以下のようになります。

X_scaled = X / |X_max_abs|

ここで、|X_max_abs|はデータの絶対値の最大値です。

Pythonでの実装例です。


from sklearn.preprocessing import MaxAbsScaler
import numpy as np

data = np.array([[-1, 2, -3], [4, -5, 6], [-7, 8, -9]])

scaler = MaxAbsScaler()
scaled_data = scaler.fit_transform(data)

print(scaled_data)

標準化 (Standardization)

標準化は、データの平均値を0、標準偏差を1にスケーリングする手法です。これにより、データは正規分布に近い形に変換されます。多くの統計モデルや機械学習アルゴリズムは、データが正規分布に従うことを仮定しているため、標準化は非常に有効な前処理となります。

StandardScaler

StandardScalerは、最も一般的に使用される標準化手法です。データの平均を0、標準偏差を1になるように変換します。

数式で表すと、以下のようになります。

X_scaled = (X - mean(X)) / std(X)

ここで、mean(X)はデータの平均値、std(X)はデータの標準偏差です。

Pythonでの実装例です。


from sklearn.preprocessing import StandardScaler
import numpy as np

data = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

scaler = StandardScaler()
standardized_data = scaler.fit_transform(data)

print(standardized_data)

StandardScalerは、外れ値の影響を受けにくいという利点があります。これは、平均値と標準偏差が外れ値に影響されにくいからです。

RobustScaler

RobustScalerは、中央値（median）と四分位範囲（Interquartile Range, IQR）を使用してデータをスケーリングします。中央値とIQRは、外れ値の影響をStandardScalerよりも受けにくいため、データに外れ値が多く含まれる場合に有効な手法です。

数式で表すと、以下のようになります。

X_scaled = (X - median(X)) / IQR(X)

Pythonでの実装例です。


from sklearn.preprocessing import RobustScaler
import numpy as np

data = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 90]]) # 外れ値を含む例

scaler = RobustScaler()
scaled_data = scaler.fit_transform(data)

print(scaled_data)

その他のスケーリング手法

上記以外にも、特定の目的に合わせたスケーリング手法が存在します。

QuantileTransformer

QuantileTransformerは、データの分布を正規分布または一様な分布にマッピングします。これは、データの形状が著しく正規分布から外れている場合に有効です。n_quantilesパラメータで、使用する分位点数を指定します。


from sklearn.preprocessing import QuantileTransformer
import numpy as np

data = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

# output_distribution='normal' で正規分布にマッピング
transformer = QuantileTransformer(output_distribution='normal', n_quantiles=10)
transformed_data = transformer.fit_transform(data)

print(transformed_data)

PowerTransformer

PowerTransformerは、データの分布をより正規分布に近づけるための変換を行います。Box-Cox変換とYeo-Johnson変換の二つの手法をサポートしており、methodパラメータで選択できます。Box-Cox変換は正の値のみを扱いますが、Yeo-Johnson変換は負の値も扱えます。


from sklearn.preprocessing import PowerTransformer
import numpy as np

data = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

# method='yeo-johnson' は負の値も扱える
pt = PowerTransformer(method='yeo-johnson', standardize=False) # standardize=Falseで平均0, 標準偏差1にしない
transformed_data = pt.fit_transform(data)

print(transformed_data)

正規化・標準化の選択基準

どの手法を選択するかは、以下の点を考慮して決定します。

アルゴリズムの要件: サポートベクターマシン(SVM)やk近傍法(kNN)などの距離ベースのアルゴリズムは、特徴量のスケールに敏感なため、正規化や標準化が有効です。一方、決定木ベースのアルゴリズム（ランダムフォレスト、勾配ブースティングなど）は、特徴量のスケールに影響されにくい傾向があります。
データの分布: データが正規分布に近い場合は標準化が適しています。データの分布が歪んでいる場合や、特定の範囲に収めたい場合は正規化が有効です。
外れ値の存在: データに外れ値が多く含まれる場合は、RobustScalerのような外れ値に強い手法を選択することを検討します。
特徴量の解釈性: Min-Max Scalingは0から1の範囲に収まるため、解釈しやすい場合があります。

まとめ

Pythonにおけるデータの正規化と標準化は、scikit-learnライブラリを用いることで、効率的かつ効果的に行うことができます。MinMaxScaler, StandardScaler, RobustScaler, QuantileTransformer, PowerTransformerといった多様なスケーリング手法が存在し、それぞれの特性を理解し、分析対象のデータや適用するアルゴリズムに応じて最適な手法を選択することが、データ分析の精度向上に繋がります。

これらの前処理は、モデルの学習時間を短縮し、過学習を防ぎ、より頑健なモデルを構築するために不可欠なステップです。