CHATGPT-40のデータ分析能力疫学研究における評価：SAS、SPSS、およびRとの比較分析

背景：OpenAIのチャット生成事前訓練を受けたトランス4.0（CHATGPT-4）は、新興人工知能（AI）ベースの大手言語モデル（LLM）であり、革新的な「データアナリスト」機能について医学研究コミュニティから注目を集めています。。疫学的研究データを統計的に分析する際に、CHATGPT-4の能力を従来の生物統計ソフトウェア（つまり、SAS、SPSS、R）と比較することを目指しました。 方法：9317人の参加者と29の変数（性別、年齢、教育レベル、婚status状況、収入、職業、毎週労働時間、生存期間）で構成される中国の健康栄養調査のデータセットを使用しました。2人の研究者は、SAS、SPSS、およびRに対するGPT-4の「データアナリスト」機能のデータ分析機能を独立して評価しました。これは、記述統計、グループ間分析、相関分析の3つの一般的に使用される疫学分析方法です。内部的に開発された評価スケールを使用して、CHATGPT-4、SAS、SPSS、およびRの間の結果の一貫性、コーディングまたは操作の分析効率、ユーザーフレンドリー、および全体的なパフォーマンスを評価および比較しました。 結果：記述統計では、CHATGPT-4は結果の高い一貫性、コードまたは操作の分析効率の向上、およびSAS、SPSS、およびRと比較してより直感的なユーザーフレンドリーを示しました。SAS、SPSS、およびRを使用した特定の分析タスクの結果、CHATGPT-4は、高い分析効率と例外的なユーザーフレンドリーを維持しました。したがって、CHATGPT-4を使用すると、従来の生物統計ソフトウェアの結果との一貫性を維持しながら、疫学データ分析を実施するための運用上のしきい値を大幅に低下させることができ、追加の操作やコードライティングなしで特定の明確な分析命令のみを必要とします。 結論：CHATGPT-4は、疫学研究における統計分析のための強力な補助ツールであることがわかりました。ただし、結果の一貫性と、より高度な統計的方法の適用において制限を示しました。したがって、データ分析の中間体験を持つ研究者をサポートする際にChATGPT-4を使用することを提唱しています。LLMSなどのAIテクノロジーが迅速に進歩することで、データ分析プラットフォームとの統合により、運用上の障壁を削減することが約束されているため、研究者は分析結果の微妙な解釈により重点を置くことができます。この開発は、疫学的および医学的研究を大幅に進歩させる可能性があります。

BACKGROUND: OpenAI's Chat Generative Pre-trained Transformer 4.0 (ChatGPT-4), an emerging artificial intelligence (AI)-based large language model (LLM), has been receiving increasing attention from the medical research community for its innovative 'Data Analyst' feature. We aimed to compare the capabilities of ChatGPT-4 against traditional biostatistical software (i.e. SAS, SPSS, R) in statistically analysing epidemiological research data. METHODS: We used a data set from the China Health and Nutrition Survey, comprising 9317 participants and 29 variables (e.g. gender, age, educational level, marital status, income, occupation, weekly working hours, survival status). Two researchers independently evaluated the data analysis capabilities of GPT-4's 'Data Analyst' feature against SAS, SPSS, and R across three commonly used epidemiological analysis methods: Descriptive statistics, intergroup analysis, and correlation analysis. We used an internally developed evaluation scale to assess and compare the consistency of results, analytical efficiency of coding or operations, user-friendliness, and overall performance between ChatGPT-4, SAS, SPSS, and R. RESULTS: In descriptive statistics, ChatGPT-4 showed high consistency of results, greater analytical efficiency of code or operations, and more intuitive user-friendliness compared to SAS, SPSS, and R. In intergroup comparisons and correlational analyses, despite minor discrepancies in statistical outcomes for certain analysis tasks with SAS, SPSS, and R, ChatGPT-4 maintained high analytical efficiency and exceptional user-friendliness. Thus, employing ChatGPT-4 can significantly lower the operational threshold for conducting epidemiological data analysis while maintaining consistency with traditional biostatistical software's outcome, requiring only specific, clear analysis instructions without any additional operations or code writing. CONCLUSIONS: We found ChatGPT-4 to be a powerful auxiliary tool for statistical analysis in epidemiological research. However, it showed limitations in result consistency and in applying more advanced statistical methods. Therefore, we advocate for the use of ChatGPT-4 in supporting researchers with intermediate experience in data analysis. With AI technologies like LLMs advancing rapidly, their integration with data analysis platforms promises to lower operational barriers, thereby enabling researchers to dedicate greater focus to the nuanced interpretation of analysis results. This development is likely to significantly advance epidemiological and medical research.