機械学習モデルの評価指標
機械学習モデルの性能を正確に把握するためには、適切な評価指標を用いることが不可欠です。特に、分類問題においては、精度、再現率、F値が頻繁に用いられます。これらの指標は、モデルがどのように正しく、あるいは誤って予測を行っているかを、異なる側面から数値化してくれます。
精度 (Accuracy)
精度は、分類問題において最も直感的に理解しやすい評価指標の一つです。これは、全予測のうち、正しく分類できた割合を示します。計算式は以下の通りです。
精度 = (真陽性 + 真陰性) / (真陽性 + 真陰性 + 偽陽性 + 偽陰性)
ここで、
* 真陽性 (True Positive, TP)：実際に陽性であり、モデルも陽性と予測した数。
* 真陰性 (True Negative, TN)：実際に陰性であり、モデルも陰性と予測した数。
* 偽陽性 (False Positive, FP)：実際は陰性だが、モデルが陽性と予測した数（第一種の誤り）。
* 偽陰性 (False Negative, FN)：実際は陽性だが、モデルが陰性と予測した数（第二種の誤り）。
精度の利点と欠点
精度の利点は、その単純さと解釈の容易さにあります。モデル全体の予測の正確さを一目で把握できます。
しかし、精度の欠点も存在します。特に、クラスの偏り（不均衡データ）がある場合に、精度はモデルの真の性能を誤って示す可能性があります。例えば、99%が陰性クラスであるデータセットで、全てのサンプルを陰性と予測するモデルがあったとします。このモデルの精度は99%となり、一見非常に高い性能を示しますが、実際には陽性クラスを全く検出できていません。
再現率 (Recall)
再現率は、実際に陽性であるサンプルのうち、モデルが正しく陽性と予測できた割合を示します。これは、感度 (Sensitivity)や真陽性率 (True Positive Rate, TPR)とも呼ばれます。陽性クラスをどれだけ見逃さずに検出できているかに焦点を当てた指標です。
再現率 = 真陽性 / (真陽性 + 偽陰性)
再現率の重要性
再現率は、偽陰性（第二種の誤り）を避けたい場合に特に重要になります。例えば、以下のようなケースです。
* 病気の診断：病気（陽性）を見逃してしまう（偽陰性）ことは、患者の健康に深刻な影響を与える可能性があります。そのため、病気を見逃さないように、再現率を高くすることが求められます。
* 不正検知：不正行為（陽性）を見逃してしまう（偽陰性）と、大きな損害につながる可能性があります。
* スパムメールフィルタリング：重要なメール（陽性）をスパムと誤判定してしまう（偽陰性）と、情報を見逃すことになります。
再現率が高いモデルは、陽性クラスをより多く検出できますが、その反面、偽陽性を増やす傾向があります。
適合率 (Precision)
適合率は、モデルが陽性と予測したサンプルのうち、実際に陽性であった割合を示します。これは、精度 (Precision)とも呼ばれ、場合によっては「精度」という言葉が適合率を指すこともあるため、文脈に注意が必要です。
適合率 = 真陽性 / (真陽性 + 偽陽性)
適合率の重要性
適合率は、偽陽性（第一種の誤り）を避けたい場合に特に重要になります。偽陽性を減らすことは、以下のようなケースで重要です。
* スパムメールフィルタリング：通常のメール（陰性）をスパムと誤判定してしまう（偽陽性）と、重要なメールを見逃すことになります。
* レコメンデーションシステム：ユーザーが興味のない商品を推奨してしまう（偽陽性）と、ユーザー体験を損ないます。
* 情報検索：検索結果に無関係な情報が多く含まれる（偽陽性）と、ユーザーは目的の情報にたどり着きにくくなります。
適合率が高いモデルは、陽性と予測したものが実際に陽性である確率が高くなりますが、その反面、偽陰性を増やす傾向があります。
F値 (F1-Score)
適合率と再現率は、しばしばトレードオフの関係にあります。適合率を上げようとすると再現率が下がり、再現率を上げようとすると適合率が下がる傾向があるのです。この両者のバランスを取るために用いられるのがF値です。F値は、適合率と再現率の調和平均です。
F値 = 2 * (適合率 * 再現率) / (適合率 + 再現率)
F値の解釈
F値は0から1の間の値をとり、1に近いほど適合率と再現率の両方が高いことを示します。
* F値が1：適合率も再現率も1（完璧な分類）。
* F値が0：適合率か再現率のどちらか、あるいは両方が0。
F値は、特にクラスの偏りがあるデータセットにおいて、精度よりもモデルの性能をより適切に評価するのに役立ちます。適合率と再現率のどちらか一方だけが高くても、F値は高くはなりません。
Fβ値
F値は、適合率と再現率を等しく重視するF1値ですが、問題によっては適合率または再現率のどちらかをより重視したい場合があります。その場合、Fβ値が用いられます。Fβ値は、適合率よりも再現率をβ倍重視する、あるいは再現率よりも適合率をβ倍重視するといった調整が可能です。
Fβ値 = (1 + β^2) * (適合率 * 再現率) / (β^2 * 適合率 + 再現率)
* β = 1：F1値（適合率と再現率を等しく重視）。
* β > 1：再現率をより重視。
* β < 1：適合率をより重視。
その他の評価指標
上記以外にも、機械学習モデルの評価に用いられる指標がいくつかあります。
混同行列 (Confusion Matrix)
混同行列は、TP, TN, FP, FN を表形式でまとめたものです。これは、精度、再現率、適合率などの計算の元となる情報を提供し、モデルの予測結果を視覚的に把握するのに役立ちます。
ROC曲線とAUC (Area Under the ROC Curve)
ROC曲線（Receiver Operating Characteristic Curve）は、様々な閾値における偽陽性率 (False Positive Rate, FPR)と真陽性率 (True Positive Rate, TPR)の関係を示したグラフです。
偽陽性率 = 偽陽性 / (偽陽性 + 真陰性)
AUCは、ROC曲線の下側の面積を示し、0から1の値をとり、1に近いほどモデルの識別能力が高いと判断されます。ROC曲線とAUCは、特にクラスの分離度を評価するのに有効です。
対数損失 (Log Loss)
対数損失は、モデルの予測確率を評価する指標です。予測確率が実際のクラスラベルとどれだけ乖離しているかを測ります。値が小さいほど、モデルの予測確率の精度が高いことを示します。
対数損失 = -1/N * Σ (y_i * log(p_i) + (1 – y_i) * log(1 – p_i))
ここで、Nはサンプル数、y_iは実際のクラスラベル（0または1）、p_iはモデルが予測したクラス1の確率です。
まとめ
機械学習モデルの評価において、精度、再現率、F値はそれぞれ異なる側面からモデルの性能を評価します。精度は全体の正解率を示しますが、クラスの偏りに弱いという欠点があります。再現率は陽性クラスの見逃しを防ぐことに注目し、適合率は誤って陽性と判断するケースを減らすことに注目します。F値は、適合率と再現率の調和平均として、両者のバランスを取った評価を行います。
どの評価指標を選択するかは、解決しようとしている問題の性質や、どのような誤りを避けたいかによって異なります。例えば、医療診断のように見逃しが許されない場合は再現率を重視し、スパムフィルタリングのように誤判定を避けたい場合は適合率を重視するといった判断が重要になります。これらの指標を適切に理解し、組み合わせることで、より信頼性の高い機械学習モデルを構築することが可能になります。
