疾患の判定にはよくあるマーカーの血中濃度といった連続値マーカーを使うことがあります。このマーカーを開発する上で必要なのが「マーカーの疾患を予測する精度が高い」ということです。
この予測精度の評価には感度や特異度が使われますが、連続値の場合は単純に感度と特異度を定義することができません。
そのときに役立つのがROC曲線です！
この記事ではROC曲線の描き方から見方、使い方までを解説します！
ROC曲線とは？
診断性能は感度と特異度で評価される
診断性能を評価するときにはよく感度や特異度が使用されます。
感度と特異度はそれぞれ以下のように定義されます。
感度と特異度を計算するためには、真の結果も判定結果も陽性/陰性の２値データで表される必要がありました。
ただ連続値のマーカー値を用いて陽性と陰性を判定するときの予測性能で評価したい場合もあります。
このような状況で診断性能を評価するのに役に立つのがROC曲線です！
ROC曲線は特定のカットオフにおける感度と特異度をプロットしたグラフ
ROC曲線はマーカー値のカットオフを動かしながら、感度と特異度を計算して、x軸に1-特異度、y軸に感度としてプロットしたグラフです。
例えば、カットオフよりもマーカーが大きいときに陽性、小さいときに陰性として、そのカットオフでの感度と特異度を計算します。
ROC曲線のポイントとしては以下の２点です。
ROC曲線のポイント
- 左上が最も性能がよい点（感度も特異度も１）
- 左下と右上を結んだ対角線上にあるとき予測性能が悪い
実際にROC曲線を描いてみる！
実際にROC曲線を描いてみましょう！
使うデータは以下の5人分のデータで、マーカー値がカットオフより大きいとき、陽性であると判定するとします。
まずカットオフを各症例のマーカー値の小さい順に動かして、各カットオフでの感度と特異度を計算していきます。
例えば、①カットオフを０として０以上を陽性としたときと②カットオフをカットオフを３として３以上を陽性としたときの感度と特異度を計算しましょう。①では感度は100%、特異度は0%、②では感度は66.7%、特異度は50%になります。
このようにして、全てのカットオフ（今回であれば0, 1, 2, 3, 4, 5）で感度と特異度を計算して、（1-特異度, 感度）を直線で結んぶとROC曲線が完成します！
ROC曲線による予測性能評価
AUC（Area Under the Curve）
ROC曲線を評価するときには曲線下面積（Area Under the Curve; AUC）という指標が使われます。
AUCは「ROCとx軸で囲まれた面積」のことで、0-1の範囲をとります。
また、AUCが大きいほどグラフが左上に近づくため、予測性能がよいと判断できます。
AUCによる予測性能の評価目安
一般的にAUCは相対評価で使用されますが、比較対象がなく単一のマーカーの予測性能を評価したいということもあります。
そのような場合には以下のような基準で予測性能の評価がされることがあります。
| AUC | 予測の程度 |
|---|---|
| 0.9-1.0 | High accuracy（高い） |
| 0.9-0.7 | Moderate accuracy（そこそこ） |
| 0.5-0.7 | Low accuracy（低い） |
| 0.5未満 | 逆の予測をしている（陽性を陰性と判断） |
ただし、この指標は全ての疾患に共通した基準ではないため、常にこの基準で予測性能を評価することは推奨できません。
そのため、「研究領域でAUCがどのような基準で評価されているか」を調べた上で、予測性能の良し悪しを判断するようにしましょう！
ROC曲線の活用方法
ROC曲線の使い方には大きく２種類の方法があります。
- 予測性能が高いマーカーを決める
- マーカーのカットオフ値を決める
この２種類の活用方法について見ていきましょう！
予測性能が高いマーカーを決める
一つ目は予測性能がマーカーを決める方法です。これは主にAUCを使って各マーカーの予測性能を比較して、もっとも良いマーカーを決定します。
例えば、二つのマーカーAとBの疾患の陽性/陰性を予測する性能を評価したい場合を考えましょう。
それぞれのマーカーでのAUCが以下であったとき、AUCが大きいほど予測性能が高いと判断できるため、マーカーＡのほうが予測性能が高いと判断することができます。
カットオフ値を決める
二つ目の使い方はマーカーのカットオフを決める方法です。
「とあるマーカー値でAUCを計算して予測性能が良かった」だけでは、実臨床に活用することはできません。
「マーカーがどの程度であれば、陽性と判定してよいのか」ということが気になるかと思います。
そこで、RCO曲線を使ってカットオフ値を決めます！
カットオフ値の決め方は大きく２つあります。
ROC曲線を使ったカットオフの決め方
- 左上に最も近い点
- 対角線から最も遠い点（Younden’s index）
カットオフの決め方に優劣はありませんので、カットオフが臨床的に妥当かどうかを見ながら、カットオフを選択する必要があります。
もし迷ったら両方の方法でカットオフ値を求めて、その違いを議論するのも一案だと思います！
AUCが同じときは予測性能は同等？
予測性能はROC曲線から求めるAUCで評価すると説明してきました。
では、２つのマーカーでAUCが同じときは予測性能は同じとしてよいでしょうか？
実はROC曲線がぴったりと重なっていない限り、予測性能は同等と評価することは難しいです。
というのも、ROC曲線で評価しているのは感度と特異度の二つであり、偽陽性率や偽陰性率のような別の指標では異なる予測性能を示す可能性があります。
例えば、以下のようにAUCが同じで、ROC曲線が交差しているときを見ていきましょう。
このような場合にはカットオフとなる点での偽陽性率や偽陰性率を評価して、どちらがよいマーカーか判断することになります。
このように、AUCが同じだとしても偽陽性率や偽陰性率を評価して、予測性能を多角的に評価する必要があります。
まとめ
今回はモデルの予測性能を評価するROC曲線について解説しました！
ROC曲線は陽性・陰性を判断するマーカーが連続値であるときに、マーカーの予測性能を評価するために使用されます。また、予測性能を評価するほかにも、マーカーのカットオフ値を決めるために使用することができます。
ただし、ROC曲線で評価しているのは感度と特異度のみなので、偽陽性率や偽陰性率など、他の指標も評価することで多角的に予測性能を評価しましょう！
コメント