Avellaneda-Stoikov Market-Makingアルゴリズムのパフォーマンスを向上させるための強化学習アプローチ

市場制作は、強化学習（RL）に基づくソリューションがますます調査されている高周波取引の問題です。このペーパーでは、入札を直接設定して尋ねるのではなく、ニューラルネットワークの出力を使用してリスク回避パラメーターとアベラネダ - ストゥイコフ手順の出力を調整するために使用されるという斬新さを伴う、深い強化学習を使用して市場作成へのアプローチを提示します。入札を取得し、在庫リスクを最小限に抑える価格を尋ねる。さらに2つの貢献は、最初に、Avellaneda-Stoikov方程式の初期パラメーターが遺伝的アルゴリズムで最適化されていることです。これは、ベースラインAvellaneda-Stoikovエージェント（Gen-AS）を作成するためにパラメーターも使用されます。第二に、RLエージェントのニューラルネットワーク入力を形成する状態を定義する機能は、ランダムフォレストによる相対的な重要性に基づいて選択されます。Deep RLモデルの2つのバリアント（Alpha-AS-1およびAlpha-AS-2）は、Gen-ASモデルと他の2つのベースラインとともに、実際のデータ（30日間のビットコインドラーペア取引からのL2チックデータ）でバックテストされました。5つのモデルのパフォーマンスは、4つの指標（Sharpe、Sortino、P＆L-to-Map比、および最大ドローダウン）を通じて記録されました。Gen-asは、すべてのインジケーターの他の2つのベースラインモデルを上回り、次に、Sharpe、Sortino、およびP＆L-To-MapでGen-As As As As As As As As As As Asを大幅に上回るモデルを大幅に上回りました。いくつかの重いドロップダウンに反映されているように、アルファASモデルによる局所的な過度のリスクテイクは、可能な解決策について議論する懸念の源です。

Market making is a high-frequency trading problem for which solutions based on reinforcement learning (RL) are being explored increasingly. This paper presents an approach to market making using deep reinforcement learning, with the novelty that, rather than to set the bid and ask prices directly, the neural network output is used to tweak the risk aversion parameter and the output of the Avellaneda-Stoikov procedure to obtain bid and ask prices that minimise inventory risk. Two further contributions are, first, that the initial parameters for the Avellaneda-Stoikov equations are optimised with a genetic algorithm, which parameters are also used to create a baseline Avellaneda-Stoikov agent (Gen-AS); and second, that state-defining features forming the RL agent's neural network input are selected based on their relative importance by means of a random forest. Two variants of the deep RL model (Alpha-AS-1 and Alpha-AS-2) were backtested on real data (L2 tick data from 30 days of bitcoin-dollar pair trading) alongside the Gen-AS model and two other baselines. The performance of the five models was recorded through four indicators (the Sharpe, Sortino and P&L-to-MAP ratios, and the maximum drawdown). Gen-AS outperformed the two other baseline models on all indicators, and in turn the two Alpha-AS models substantially outperformed Gen-AS on Sharpe, Sortino and P&L-to-MAP. Localised excessive risk-taking by the Alpha-AS models, as reflected in a few heavy dropdowns, is a source of concern for which possible solutions are discussed.