リアプノフのような指数を使用したCovid-19予測精度の評価

機械学習の分野では、モデルの構築とそのパフォーマンスの測定は、2つの同様に重要なタスクです。現在、回帰モデルの予測の精度の測定は、通常、平均誤差の概念に基づいています。この場合、誤差は観察からの予測の偏差を意味します。ただし、これらの平均ベースのモデルのパフォーマンスには2つの欠点があります。第一に、彼らは予測の長さを無視します。これは、最初の小さな偏差が時間とともに指数関数的に成長するカオスシステムを扱うときに重要です。第二に、これらの測定値は、予測の開始から終わりまでのすべてのエラーを平均するため、特定の時点（日付など）に対して予測がなされる状況では適していません。したがって、このペーパーの目的は、前述の欠点を克服するリアプノフ指数の概念に基づいて、モデルの予測精度の新しい尺度を発散指数であると提案することです。提案されたアプローチにより、カオス現象のフレームワークにおける、等しい長さと特定のターゲット日付の時系列のモデルの予測精度の測定と比較が可能になります。モデルの精度の評価に発散指数を適用することは、2つの例によって実証されており、その後、他の研究からのCovid-19の広がりの選択された予測のセットが評価され、その可能性が示されます。

In the field of machine learning, building models and measuring their performance are two equally important tasks. Currently, measures of precision of regression models' predictions are usually based on the notion of mean error, where by error we mean a deviation of a prediction from an observation. However, these mean based measures of models' performance have two drawbacks. Firstly, they ignore the length of the prediction, which is crucial when dealing with chaotic systems, where a small deviation at the beginning grows exponentially with time. Secondly, these measures are not suitable in situations where a prediction is made for a specific point in time (e.g. a date), since they average all errors from the start of the prediction to its end. Therefore, the aim of this paper is to propose a new measure of models' prediction precision, a divergence exponent, based on the notion of the Lyapunov exponent which overcomes the aforementioned drawbacks. The proposed approach enables the measuring and comparison of models' prediction precision for time series with unequal length and a given target date in the framework of chaotic phenomena. Application of the divergence exponent to the evaluation of models' accuracy is demonstrated by two examples and then a set of selected predictions of COVID-19 spread from other studies is evaluated to show its potential.