車両エッジコンピューティングの意思決定アルゴリズムのオフロードのオフロード：ディープリンケージションラーニングベースのアプローチ

効率的なタスクオフロード決定は、車両エッジコンピューティングの重要なテクノロジーであり、ネットワークリソースの競争と消費を最小限に抑えながら、遅延とエネルギー消費に関する複雑な車両タスクの計算パフォーマンス需要を満たすことを目的としています。従来の分散タスクオフロード決定は、車両のローカル状態のみに依存しており、サーバーのリソースの利用を最大限の可能性に最適化することに失敗しています。さらに、車両のモビリティの側面は、これらの決定でしばしば無視されます。このホワイトペーパーでは、クラウドエッジ - ベヒクルの3層車両エッジコンピューティング（VEC）システムが提案されています。この場合、車両は残りのタスクを車両ターミナルにローカルに保ちながら、コンピューティングタスクをエッジまたはクラウドサーバーに部分的にオフロードします。車両の移動度と個別の変数の制限の下で、タスクスケジューリングとタスクオフロードの割合は、システム総コストを最小化する目的で共同で最適化されます。最適化問題の非概念性、高次元の複雑な状態、および継続的なアクション空間要件を考慮すると、深い決定論的ポリシー勾配（TODM_DDPG）に基づいて、意思決定アルゴリズムをオフロードするタスクを提案します。TODM_DDPGアルゴリズムは、アクターネットワークが浮動小数点数を出力して決定論的ポリシーを表すアクターと批判のフレームワークを採用し、批評家ネットワークはアクターネットワークによるアクション出力を評価し、環境との報酬に応じてネットワーク評価ポリシーを調整して、最大化するためにネットワーク評価ポリシーを調整します長期的な報酬。アルゴリズムのパフォーマンスを調査するために、アルゴリズムのコアハイパーパラメーターを修正し、パラメーターの最適な組み合わせを選択するためのこの行動パラメーター設定実験を行います。さらに、アルゴリズムのパフォーマンスを検証するために、ベースラインアルゴリズムを使用した一連の比較実験も実行します。結果は、システムコストを削減するという点で、提案されたアルゴリズムが、ディープQネットワーク（DQN）やアクタークライティック（AC）などの比較ベースラインアルゴリズムを上回り、パフォーマンスは平均で約13％改善されることを示しています。

Efficient task offloading decision is a crucial technology in vehicular edge computing, which aims to fulfill the computational performance demands of complex vehicular tasks with respect to delay and energy consumption while minimizing network resource competition and consumption. Conventional distributed task offloading decisions rely solely on the local state of the vehicle, failing to optimize the utilization of the server's resources to its fullest potential. In addition, the mobility aspect of vehicles is often neglected in these decisions. In this paper, a cloud-edge-vehicle three-tier vehicular edge computing (VEC) system is proposed, where vehicles partially offload their computing tasks to edge or cloud servers while keeping the remaining tasks local to the vehicle terminals. Under the restrictions of vehicle mobility and discrete variables, task scheduling and task offloading proportion are jointly optimized with the objective of minimizing the total system cost. Considering the non-convexity, high-dimensional complex state and continuous action space requirements of the optimization problem, we propose a task offloading decision-making algorithm based on deep deterministic policy gradient (TODM_DDPG). TODM_DDPG algorithm adopts the actor-critic framework in which the actor network outputs floating point numbers to represent deterministic policy, while the critic network evaluates the action output by the actor network, and adjusts the network evaluation policy according to the rewards with the environment to maximize the long-term reward. To explore the algorithm performance, this conduct parameter setting experiments to correct the algorithm core hyper-parameters and select the optimal combination of parameters. In addition, in order to verify algorithm performance, we also carry out a series of comparative experiments with baseline algorithms. The results demonstrate that in terms of reducing system costs, the proposed algorithm outperforms the compared baseline algorithm, such as the deep Q network (DQN) and the actor-critic (AC), and the performance is improved by about 13% on average.