Mobile-UI-Repair：モバイルユーザーインターフェイスのための深い学習ベースのUI臭い検出技術

モバイルアプリケーションのグラフィカルユーザーインターフェイス（GUI）は、ユーザーをモバイルアプリケーションと接続する上で重要な役割を果たします。多くの場合、GUIは多くのUIデザインの臭い、バグ、または機能の強化要求を受け取ります。デザインの匂いには、テキストの重複、コンポーネントの閉塞、ぼやけの画面、ヌル値、および欠落した画像が含まれます。また、使用中のモバイルアプリケーションの動作も提供します。モバイルアプリケーションの手動テスト（残りのドキュメントの残りのアプリ）は、特に自動テスト中に見逃される可能性のあるユーザビリティとアクセシビリティを特定するために、アプリの品質を確保するために不可欠です。ただし、テスターがアクションを繰り返し実行する必要性と、いくつかの機能を逃す可能性があるため、時間がかかり、非効率的です。いくつかのアプローチが提案されていますが、大幅なパフォーマンス改善が必要です。さらに、これらのアプローチの重要な課題は、アプリ開発中に従うために必要な設計ガイドラインとルールを組み込み、開発フォーラムで入手可能な構文とセマンティック情報を組み合わせます。この研究では、Mobile-UI-Repair（M-UI-R）と呼ばれるUIバグ識別とローカリゼーションアプローチを提案しました。M-UI-Rは、グラフィカルユーザーインターフェイス（GUI）を表示することができ、問題を表示し、GUI内のバグの特定の場所を正確に識別できます。M-UI-Rは履歴データでトレーニングおよびテストされ、リアルタイムデータでも検証されます。評価は、平均精度が87.7％であり、UIディスプレイの問題の検出で平均リコールが86.5％であることを示しています。M-UI-Rはまた、UIデザイン臭の局在化において平均71.5％の精度と70.7％の平均リコールを達成しました。さらに、8人の開発者が関与する調査では、提案されたアプローチがモバイルアプリケーションのユーザーインターフェイスを強化するための貴重なサポートを提供することを示しています。これにより、開発者はバグを修正する努力を支援します。

The graphical user interface (GUI) in mobile applications plays a crucial role in connecting users with mobile applications. GUIs often receive many UI design smells, bugs, or feature enhancement requests. The design smells include text overlap, component occlusion, blur screens, null values, and missing images. It also provides for the behavior of mobile applications during their usage. Manual testing of mobile applications (app as short in the rest of the document) is essential to ensuring app quality, especially for identifying usability and accessibility that may be missed during automated testing. However, it is time-consuming and inefficient due to the need for testers to perform actions repeatedly and the possibility of missing some functionalities. Although several approaches have been proposed, they require significant performance improvement. In addition, the key challenges of these approaches are incorporating the design guidelines and rules necessary to follow during app development and combine the syntactical and semantic information available on the development forums. In this study, we proposed a UI bug identification and localization approach called Mobile-UI-Repair (M-UI-R). M-UI-R is capable of recognizing graphical user interfaces (GUIs) display issues and accurately identifying the specific location of the bug within the GUI. M-UI-R is trained and tested on the history data and also validated on real-time data. The evaluation shows that the average precision is 87.7% and the average recall is 86.5% achieved in the detection of UI display issues. M-UI-R also achieved an average precision of 71.5% and an average recall of 70.7% in the localization of UI design smell. Moreover, a survey involving eight developers demonstrates that the proposed approach provides valuable support for enhancing the user interface of mobile applications. This aids developers in their efforts to fix bugs.