SSSIC：学習した構造表現を備えたセマンティクス間スケーラブルな画像コーディング

共同ヒューマンマシンビジョンの画像コーディングの要件に対処します。つまり、デコードされた画像は、人間の観察と機械分析/理解の両方を果たします。以前は、人間の視力と機械の視覚は、それぞれ画像（信号）圧縮と（画像）特徴圧縮によって広範囲に研究されてきました。最近、共同ヒューマンマシンビジョンの場合、いくつかの研究が画像と特徴の共同圧縮に専念していますが、画像と特徴の間の相関はまだ不明です。深いネットワークを、構造画像表現を生成するための強力なツールキットとして特定します。情報理論の観点から見ると、画像の深い特徴は自然にエントロピー減少シリーズを形成します。スケーラブルなビットストリームは、より深い層からより浅い層に機能を逆方向に圧縮することで実現されます。さらに、特定のセマンティック分析タスクまたは複数のタスクに対してディープネットワークをトレーニングし、セマンティクスに関連する深い機能を獲得することにより、学習表現を取得できます。学習した構造表現により、SSSICは、セマンティック分析のために部分的にデコードできるか、人間の視力のために完全に解読できる埋め込みビットストリームを取得するフレームワークであると提案します。駆動型セマンティック分析タスクとして、粗からファインの画像分類を使用して、模範的なSSSICスキームを実装します。また、オブジェクト検出とインスタンスセグメンテーションタスクのスキームも拡張します。実験結果は、提案されたSSSICフレームワークの有効性を示し、模範的なスキームが画像と特徴の個別の圧縮よりも高い圧縮効率を達成することを確立します。

We address the requirement of image coding for joint human-machine vision, i.e., the decoded image serves both human observation and machine analysis/understanding. Previously, human vision and machine vision have been extensively studied by image (signal) compression and (image) feature compression, respectively. Recently, for joint human-machine vision, several studies have been devoted to joint compression of images and features, but the correlation between images and features is still unclear. We identify the deep network as a powerful toolkit for generating structural image representations. From the perspective of information theory, the deep features of an image naturally form an entropy decreasing series: a scalable bitstream is achieved by compressing the features backward from a deeper layer to a shallower layer until culminating with the image signal. Moreover, we can obtain learned representations by training the deep network for a given semantic analysis task or multiple tasks and acquire deep features that are related to semantics. With the learned structural representations, we propose SSSIC, a framework to obtain an embedded bitstream that can be either partially decoded for semantic analysis or fully decoded for human vision. We implement an exemplar SSSIC scheme using coarse-to-fine image classification as the driven semantic analysis task. We also extend the scheme for object detection and instance segmentation tasks. The experimental results demonstrate the effectiveness of the proposed SSSIC framework and establish that the exemplar scheme achieves higher compression efficiency than separate compression of images and features.