CASP12の高等構造予測の評価単位の定義と分類は、半自動化されたメトリックを通じて促進されました

評価のために、CASPのターゲットは評価単位に分割されます。ここでは、CASP12評価ユニット（EU）の公式定義とそれらの分類を難易度カテゴリに提示します。各ターゲットは、1つのEU（ターゲット全体）または/およびいくつかのEU（個別の構造ドメインまたは構造ドメインのグループ）として評価できます。ターゲット分割の特定のシナリオは、利用可能なテンプレートのドメイン構成、個別のドメインのサーバーパフォーマンスの違いとドメインの組み合わせ、および目視検査によって決定されます。最終的に、71のターゲットが96 EUに分割されました。EUSの難易度カテゴリへの分類は、予測センターが提供するメトリックの支援を受けて半自動的に行われました。これらのメトリックは、Protein Data Bankの潜在的な構造テンプレートに対するEUのシーケンスと構造的類似性、および自動サーバー予測のベースラインパフォーマンスを説明しています。メトリックは、96のEUを38 EUSに容易に分離し、テンプレートベースのモデリング（TBM）と39を簡単に分離し、相同性モデリングには困難であると予想されるため、無料モデリング（FM）に残されます。残りの19の境界評価ユニットはFM/TBMと呼ばれ、ケースごとに検査されました。この記事では、FMおよびFM/TBMの予測の評価を提示する付随する記事に関連する選択されたターゲットの構造的および進化的特徴と、FMカテゴリの最も硬い評価単位の構造的特徴を概要します。EUの定義と分類手順の改善を最終的に提案します。

For assessment purposes, CASP targets are split into evaluation units. We herein present the official definition of CASP12 evaluation units (EUs) and their classification into difficulty categories. Each target can be evaluated as one EU (the whole target) or/and several EUs (separate structural domains or groups of structural domains). The specific scenario for a target split is determined by the domain organization of available templates, the difference in server performance on separate domains versus combination of the domains, and visual inspection. In the end, 71 targets were split into 96 EUs. Classification of the EUs into difficulty categories was done semi-automatically with the assistance of metrics provided by the Prediction Center. These metrics account for sequence and structural similarities of the EUs to potential structural templates from the Protein Data Bank, and for the baseline performance of automated server predictions. The metrics readily separate the 96 EUs into 38 EUs that should be straightforward for template-based modeling (TBM) and 39 that are expected to be hard for homology modeling and are thus left for free modeling (FM). The remaining 19 borderline evaluation units were dubbed FM/TBM, and were inspected case by case. The article also overviews structural and evolutionary features of selected targets relevant to our accompanying article presenting the assessment of FM and FM/TBM predictions, and overviews structural features of the hardest evaluation units from the FM category. We finally suggest improvements for the EU definition and classification procedures.