評価方法について

モデルの評価方法について
提出した予測ファイルが高いCorrやTCを示すかはTournament開始時点ではわかりません。
NMRのペイアウトは1回のラウンドでのパフォーマンスに左右されますが、リーダーボードに掲載される評価や順位は20ラウンド分の評価の平均値を用います。
評価の計算方法
ラウンドnでの評価は、過去20ラウンドのCorr・TC・FNCを加重平均することで計算できます。
各ラウンドの「ウェイト」は、Tournamentが終了した日を基準として変化します。新しいラウンドでは低い「ウェイト」を用い、Tournamentの終了日に近づくにつれて「ウェイト」を大きくします。Tournament終了時での「ウェイト」は１ですが、一定に数が経過するとウェイトの大きさを小さくします。以下に、加重平均を計算するコードを示します。
# delta is the difference between the current and target round number
def round_weight(delta, day):
  if delta <= 4:
      return (5 * delta + day) / 20
  elif delta >= 16:
      return (5 * (20 - delta) - day) / 20
  else:
      return 1
例えば、ラウンド204の3日目の「ウェイト」 は以下の通りです。
予測ファイルを提出していない場合の影響
予測ファイルが提出されなかった場合ペナルティが課せられます。
最初の提出が遅れるか、失敗した場合、CorrとFNCについてはexample_predictionsと同等のスコアが与えられます。それ以降、予測ファイルが提出されなかった場合、-0.1という非常に低いスコアが与えられます。ただし、TCについては常に0が与えられます。 このペナルティを回避するためには、Numerai－CLIが役立ちます。Numerai－CLIを使用すれば毎週の提出ワークフローを自動化できます。

Last modified 7mo ago