質の高い注釈を保証する群衆労働者向けのタイムシリーズベースの新しい行動トレースモデル

クラウドソーシングは、組織が多数のインターネットユーザーを活用してタスクを達成する新しい価値創造のモードです。しかし、これらの労働者は異なる背景と意図を持っているため、クラウドソーシングは質の高い懸念に苦しんでいます。文献では、コンセンサス方法やゴールドスタンダードアプローチなどの他の方法論よりも、労働者の行動を追跡することが好まれます。このペーパーでは、タスク分類のための労働者の行動に基づいた2つの新しいモデルを提案します。これらのモデルは、タイムシリーズの機能と特性から新たに利益を得ています。最初のモデルは、機械学習分類器を備えた複数の時系列機能を使用します。2番目のモデルは、時系列を再発特性を使用して画像に変換し、畳み込みニューラルネットワーク分類器を適用します。提案されているモデルは、パフォーマンスの観点から現在の最新のベースラインを上回ります。精度の点では、機能ベースのモデルは83.8％を達成しましたが、畳み込みニューラルネットワークモデルは76.6％を達成しました。

Crowdsourcing is a new mode of value creation in which organizations leverage numerous Internet users to accomplish tasks. However, because these workers have different backgrounds and intentions, crowdsourcing suffers from quality concerns. In the literature, tracing the behavior of workers is preferred over other methodologies such as consensus methods and gold standard approaches. This paper proposes two novel models based on workers' behavior for task classification. These models newly benefit from time-series features and characteristics. The first model uses multiple time-series features with a machine learning classifier. The second model converts time series into images using the recurrent characteristic and applies a convolutional neural network classifier. The proposed models surpass the current state of-the-art baselines in terms of performance. In terms of accuracy, our feature-based model achieved 83.8%, whereas our convolutional neural network model achieved 76.6%.