複数のスペクトルカーネル学習とガウスの複雑さの計算

複数のカーネル学習（MKL）は、特定のカーネルマトリックスの線形組み合わせのサブセット上の経験的リスクを最小化することにより、ベクターマシンと同様の分類器をサポートするカーネル選択問題を部分的に解決します。大規模なサンプルセットの場合、カーネルマトリックスのサイズが数値の問題になります。多くの場合、カーネルマトリックスのランクは低いです。ただし、低ランクのプロパティはMKLアルゴリズムで効率的に利用されていません。ここでは、スペクトルカーネルセットと呼ばれるすべてのカーネルマトリックスからいくつかの固有ベクトルのグラムマトリックスのセットからカーネルマトリックスを見つけることにより、低ランクのプロパティを効率的に使用する複数のスペクトルカーネル学習をお勧めします。提案されたカーネルセットのガウスの複雑さに新しい境界を提供します。これは、カーネルセットのジオメトリとグラムマトリックスの数の両方に依存します。複雑さのこの特徴は、MKL設定では、より多くのカーネルを追加することで単調に複雑さを増加させないことを意味しますが、以前の境界はそうでないことを示しています。

Multiple kernel learning (MKL) partially solves the kernel selection problem in support vector machines and similar classifiers by minimizing the empirical risk over a subset of the linear combination of given kernel matrices. For large sample sets, the size of the kernel matrices becomes a numerical issue. In many cases, the kernel matrix is of low-efficient rank. However, the low-rank property is not efficiently utilized in MKL algorithms. Here, we suggest multiple spectral kernel learning that efficiently uses the low-rank property by finding a kernel matrix from a set of Gram matrices of a few eigenvectors from all given kernel matrices, called a spectral kernel set. We provide a new bound for the gaussian complexity of the proposed kernel set, which depends on both the geometry of the kernel set and the number of Gram matrices. This characterization of the complexity implies that in an MKL setting, adding more kernels may not monotonically increase the complexity, while previous bounds show otherwise.