روش‌شناسی دلفی مبتنی بر هوش مصنوعی: رویکردی نوین در زاویه‌بندی پژوهش‌های مدیریتی

نوع مقاله : مقاله علمی پژوهشی

نویسندگان

1 دانشیار، گروه مدیریت بازرگانی، دانشکدۀ مدیریت و حسابداری، دانشگاه علامه طباطبائی، تهران، ایران.

2 دانشجوی دکتری، گروه مدیریت بازرگانی، دانشکدۀ مدیریت و حسابداری، دانشگاه علامه طباطبائی، تهران، ایران.

3 دانشیار، گروه مدیریت بازرگانی، دانشکده مدیریت و حسابداری، دانشگاه علامه طباطبائی، تهران، ایران.

4 دانشیار، گروه فناوری اطلاعات و مدیریت عملیات، دانشکده مدیریت و حسابداری، دانشگاه علامه طباطبائی، تهران، ایران.

10.22059/jipa.2025.397566.3728

چکیده

هدف: هدف از این پژوهش طراحی و اعتبارسنجی روش ترکیبی نوآورانه (هیبریدی) بر پایۀ تلفیق تکنیک دلفی کلاسیک و قابلیت‌های هوش مصنوعی است و به این پرسش پاسخ می‌دهد که چگونه می‌توان از هم‌افزایی میان توانمندی‌های هوش مصنوعی و بینش انسانی، برای رفع نیازهای نوظهور پژوهشگران در حوزۀ تحقیق و توسعه بهره گرفت. در این راستا، پژوهش حاضر، نخستین پژوهش است که در ایران با محوریت دلفی مبتنی بر هوش مصنوعی، به توسعۀ چارچوب روش‌شناختی نوین با تکیه بر مدل‌های زبانی پرداخته است.
روش: این پژوهش از نوع مطالعات آمیخته است که با هدف توسعۀ رویکردی نوین در حوزۀ پژوهش اجرا شده است. برای ارزیابی اعتبار این رویکرد، کاربرد آن در زمینۀ مربیگری بررسی شده است؛ از این رو، این مطالعه در زمرۀ پژوهش‌های کاربردی قرار می‌گیرد. جامعۀ آماری این پژوهش، خبرگان انسانی و مدل‌های زبانی هوش مصنوعی بودند. در بخش کلاسیک، ۱۵ نفر از متخصصان حوزۀ منابع انسانی، مربیگری و توسعۀ فردی، به‌روش گلولۀ برفی انتخاب شدند. در بخش مبتنی بر هوش مصنوعی نیز، سه مدل زبانی ChatGPT، Microsoft Copilot و Gemini با نظر متخصصان و ارزیابی تطبیقی برگزیده شدند. گردآوری داده‌ها با استفاده از پرسش‌نامه و مطابق با اصول دلفی انجام شد. به‌منظور بررسی اعتبار داده‌ها، از رویکرد زاویه‌بندی شامل الگوریتم، محقق، داده و نظریه استفاده شد. همچنین، برای رسیدن به اشباع نظری در تعامل با مدل‌های زبانی، اقدام‌هایی مانند آموزش اولیه، بازبینی چندمرحله‌ای پاسخ‌ها و بهره‌گیری از قابلیت‌های به‌روزرسانی مدل‌ها صورت گرفت. در نهایت، به‌منظور سنجش هم‌راستایی و اختلاف میان دیدگاه‌های انسانی و نتایج مدل‌های هوش مصنوعی، از روش مقایسۀ میانگین زوجی استفاده شد.
یافته‌ها: در این پژوهش، با بهره‌گیری از روش‌شناسی نوین تلفیقی، ترکیبی از دلفی کلاسیک و دلفی مبتنی بر مدل‌های زبانی هوش مصنوعی به‌کار گرفته شد تا ضمن معرفی روشی جدید در حوزۀ پژوهش، اولویت‌های توسعۀ فردی مدیران منابع انسانی شناسایی شود. در بخش کیفی، ارزیابی مؤلفه‌ها در سه دور دلفی کلاسیک، به اجماع قوی خبرگان با افزایش ضریب هماهنگی کندال منجر شد. در بخش کمّی، مقایسۀ دیدگاه‌های خبرگان انسانی و مدل‌های هوش مصنوعی با استفاده از مقایسۀ میانگین زوجی نشان داد که تفاوت معناداری میان دو رویکرد وجود ندارد و داده‌ها از پایداری و قابلیت اطمینان بالایی برخوردارند. یافته‌ها همچنین نشان می‌دهد که بهره‌گیری از هوش مصنوعی با پرامپت‌نویسی هدفمند و تحلیل چرخشی، ضمن تسهیل تحلیل چندلایۀ داده‌های کیفی، باعث افزایش دقت، تنوع دیدگاه‌ها، کاهش خستگی پاسخ‌دهندگان و تسریع در دستیابی به اجماع می‌شود.
نتیجه‌گیری: نتایج این پژوهش نشان می‌دهد که روش دلفی مبتنی بر هوش مصنوعی، توانایی چشمگیری در ارتقای کیفیت فرایندهای پژوهش و تصمیم‌گیری دارد. ترکیب قابلیت‌های پیشرفتۀ مدل‌های زبانی با خِرَد انسانی، امکان انجام تحلیل‌های دقیق‌تر، چندبُعدی و با قابلیت تکرار را فراهم می‌سازد. به‌دلیل تنوع عملکرد مدل‌ها، چالش‌هایی در همگرایی نتایج مشاهده می‌شود؛ اما استفاده از رویکردهای ترکیبی، راه‌کاری مؤثر برای افزایش اعتبار یافته‌ها محسوب می‌شود. همچنین، اعتبارسنجی این روش در حوزۀ مربیگری توسعۀ فردی، گواهی بر قابلیت تعمیم آن به مطالعات مدیریتی و سایر حوزه‌های پژوهشی است. در کل می‌توان گفت که این پژوهش، به‌صورت نوآورانه، به نحوۀ بهره‌گیری و حدود کاربرد هوش مصنوعی در فرایندهای تحقیقاتی پرداخته که تاکنون کمتر به آن توجه شده است؛ از این رو می‌تواند دریچه‌ای تازه در حوزۀ روش‌شناسی مطالعات مدیریتی بگشاید.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

AI-based Delphi Methodology: A Novel Approach to Triangulation in Managerial Research

نویسندگان [English]

  • Hamed Dehghanan 1
  • Zahra Pouramini 2
  • Mehdi Yazdanshenas 3
  • Iman Raeesi Vanani 4
1 Associate Prof., Department of Business Management, Faculty of Management and Accounting, Allameh Tabataba'i University, Tehran, Iran.
2 Ph.D. Candidate, Department of Business Management, Faculty of Management and Accounting, Allameh Tabataba'i University, Tehran, Iran.
3 Associate Prof., Department of Business Management, Faculty of Management and Accounting, Allameh Tabataba'i University, Tehran, Iran.
4 Associate Prof., Department of Information Technology and Operations Management, Faculty of Management and Accounting, Allameh Tabataba'i University, Tehran, Iran.
چکیده [English]

Objective
The aim of this study is to design and validate an innovative hybrid methodology that integrates the classical Delphi technique with the advanced capabilities of artificial intelligence. This hybrid approach seeks to answer the central question of how the synergy between AI capabilities and human judgment can be harnessed to address emerging research and development needs. By combining machine intelligence with expert insight, the study attempts to reduce ambiguity, accelerate consensus-building, and expand the methodological toolkit available to management researchers. As the first research in Iran to focus specifically on an AI-based Delphi approach, this study introduces a pioneering framework grounded in language model technologies and explores its methodological and practical implications.
Methods
This study adopts a mixed-method design with an applied orientation. To evaluate the validity of the proposed approach, its application was examined in the domain of personal development coaching, thereby situating the study within applied research. The statistical population included both human experts and AI language models. In the classical Delphi phase, 15 experts in human resources, coaching, and personal development were selected using the snowball sampling method. In the AI-based phase, three leading language models—ChatGPT, Microsoft Copilot, and Gemini—were selected through comparative expert evaluation. Data collection was conducted via questionnaires, in accordance with Delphi principles. To validate the data, a triangulation strategy was employed, encompassing algorithm triangulation, researcher triangulation, data triangulation, and theory triangulation. To ensure theoretical saturation in interactions with language models, measures such as initial prompt training, multi-stage response review, and iterative model updates were adopted. Finally, paired-sample mean comparison was used to assess the degree of alignment and divergence between the perspectives of human experts and AI-generated outputs.
Results
The integration of classical Delphi with AI-based Delphi yielded a novel methodological framework capable of enhancing both rigor and efficiency in management research. In the qualitative stage, three rounds of the classical Delphi process produced strong expert consensus, as evidenced by an increasing Kendall’s coefficient of concordance. In the quantitative stage, comparison of human expert judgments with AI model outputs through paired-sample mean tests revealed no statistically significant differences between the two sources, indicating high reliability and stability of the data. Furthermore, the findings highlight that targeted prompt engineering and rotational analysis in AI-based Delphi can substantially enrich research processes. These features facilitated multilayer analysis of qualitative data, improved accuracy and comprehensiveness, expanded the diversity of viewpoints, reduced expert fatigue, and accelerated the path to consensus. Collectively, the results show that AI can serve not only as a supplement but also as a methodological partner in collaborative decision-making and research design.
Conclusion
The study concludes that AI-based Delphi methodology holds significant potential for advancing research quality and decision-making in managerial and related fields. The integration of advanced language model capabilities with human expertise enables more precise, multidimensional, and replicable analyses. Although variations in model performance occasionally created challenges in achieving full convergence, the hybrid design offered a practical solution to strengthen the validity of findings. The validation of this methodology in the field of personal development coaching further demonstrates its adaptability to diverse areas of managerial research. Overall, this study provides an innovative perspective on how artificial intelligence can be systematically incorporated into the Delphi method. By addressing both its opportunities and limitations, the study opens a new window for methodological innovation in management studies and contributes to the evolving discourse on the role of AI in research methodologies.

کلیدواژه‌ها [English]

  • Artificial intelligence
  • Delphi method
  • Personal development
  • Coaching
Aggarwal, A., Tam, C. C., Wu, D., Li, X. & Qiao, S. (2023). Artificial intelligence–based chatbots for promoting health behavioral changes: systematic review. Journal of medical Internet research, 25, e40789.
Aithal, P.S. & Aithal, S. (2023). Use of AI-based GPTs in experimental, empirical, and exploratory research methods. International Journal of Case Studies in Business, IT, and Education (IJCSBE), 7(3), 411-425.
Bertolotti, F. & Mari, L. (2025). An LLM-based Delphi Study to Predict GenAI Evolution. arXiv preprint arXiv:2502.21092.
Bertolotti, F. & Mari, L. (2025). An LLM-based Delphi Study to Predict GenAI Evolution. arXiv preprint arXiv:2502.21092.
Bughin, J., Manyika, J. & Woetzel, J. (2017). A Future That Works: Automation, Employment, and Productivity. McKinsey Global Institute.
Cabero, J. & Barroso, J. (2013). La utilizacion del juicio de experto para la evaluacion de tic: el coeficiente de competencia expert. Bordon, 65(2), 25–38. ISSN: 0210- 5934.
Di Zio, S., Calleo, Y. & Bolzan, M. (2023). Delphi-based visual scenarios: an innovative use of generative adversarial networks. Futures, 154, 103280.
Ecoffet, A. (2023). GPT-4 Technical Report. arXiv 2023, arXiv: 2303.08774.
Fathullah, M.A., Subbarao, A. & Muthaiyah, S. (2023). Methodological investigation: traditional and systematic reviews as preliminary findings for Delphi technique. International Journal of Qualitative Methods, 22, 16094069231190747.
Gamboa, A. J. P. & Díaz-Guerra, D. D. (2023). Artificial Intelligence for the development of qualitative studies. LatIA, 1, 4-4.
Hasson, F. & Keeney, S. (2011). Enhancing rigour in the Delphi technique research. Technological forecasting and social change, 78(9), 1695-1704.
Hudoud, A. (2025). Integrating Artificial Intelligence into Research Methodology: Examining Potential Bias and Mitigation Strategies. The Arab Journal for Quality Assurance in Higher Education, 18(64).
Janiesch, C., Zschech, P. & Heinrich, K. (2021). Machine learning and deep learning. Electronic Markets, 31(3), 685-695. https: //www.ibm.com/topics/chain-of-thoughts
Kelly, J. (2023). Goldman Sachs predicts 300 million jobs will Be lost or degraded by artificial intelligence. Forbes. Web Link https://tinyurl.com/3xb437rb. Accessed on 04 May 2023.
Knoth, N., Tolzin, A., Janson, A. & Leimeister, J. M. (2024). AI literacy and its implications for prompt engineering strategies. Computers and Education: Artificial Intelligence, 6, 100225.
Litjens, G., Kooi, T., Bejnordi, B. E., Setio, A. A. A., Ciompi, F., Ghafoorian, M. & Sánchez, C. I. (2017). A survey on deep learning in medical image analysis. Medical image analysis, 42, 60-88.
Liu, P., Yuan, W., Fu, J., Jiang, Z., Hayashi, H. & Neubig, G. (2023). Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. ACM Computing Surveys, 55(9), 1–35.
Mai, V., Neef, C. & Richert, A. (2022). “Clicking vs. writing”—The impact of a chatbot’s interaction method on the working alliance in AI-based coaching. Coaching| Theorie & Praxis, 8(1), 15-31.
Miao, S. Y., Liang, C. C. & Su, K. Y. (2024). A diverse corpus for evaluating and developing English math word problem solvers. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020. doi: 10.18653/v1/2020.acl-main.92. URL https: //aclanthology.org/2020.acl-main.92.
Misawa, T., Koizumi, A., Tamura, R. & Yoshimi, K. (2025). Exploring utilization of generative AI for research and education in data-driven materials science. arXiv preprint arXiv:2504.08817.
Mueller, R. M., Thoring, K., Klöckner, H. W. & Larsen, K. (2024). Crafting Future Scenarios with the Help of AI: Potentials of a Hybrid Delphi Expert Panel.
Nasa, P., Jain, R. & Juneja, D. (2021). Delphi methodology in healthcare research: How to decide its appropriateness. World Journal of Methodology, 11(4), 116-129. https://doi.org/10. 5662/wjm.v11.i4.116
Newman-Griffis, D. (2024). AI Thinking: A framework for rethinking artificial intelligence in practice. arXiv preprint arXiv: 2409.12922.
Pathak, A. R., Pandey, M. & Rautaray, S. (2018). Application of deep learning for object detection. Procedia computer science, 132, 1706-1717.
Rahimi, S. (2024). Saturation in qualitative research: An evolutionary concept analysis. International Journal of Nursing Studies Advances, 100174.
Russell, S. J. & Norvig, P. (2021). Artificial intelligence: A modern approach (4th ed.). Pearson.
Saunders, B., Sim, J., Kingstone, T., Baker, S., Waterfield, J., Bartlam, B., ... & Jinks, C. (2018). Saturation in qualitative research: exploring its conceptualization and operationalization. Quality & quantity52(4), 1893-1907. https://doi.org/10.1007/s11135-017-0574-8
Schmalz, U., Ringbeck, J. & Spinler, S. (2020). Door-to-door travel in 2035 – a Delphi study. Technological Forecasting and Social Change, 157, 120096. https://doi.org/10.1016/j.techfore.2020.120096
Speed, C. & Metwally, A. A. (2025). The Human-AI Hybrid Delphi Model: A Structured Framework for Context-Rich, Expert Consensus in Complex Domains. arXiv preprint arXiv:2508.09349.
Von Krogh, G. (2018). Artificial intelligence in organizations: New opportunities for phenomenon-based theorizing. Academy of Management Discoveries4(4), 404-409. https://doi.org/10.5465/amd.2018.0084
Wei, J., Wang, X., Schuurmans, D., Bosma, M., Xia, F., Chi, E. & Zhou, D. (2022). Chain-of-thought prompting elicits reasoning in large language models. Advances in neural information processing systems, 35, 24824-24837.
White, J. (2023). A prompt pattern catalog to enhance prompt engineering with ChatGPT. http://arxiv.org/pdf/2302.11382v1.
Wolff, T. (2023). How to Craft Prompts for Maximum Effectiveness. Available online: https: //medium.com/mlearning-ai/from-zero-shot-to-chain-of-thought-prompt-engineering-choosing-the-right-prompt-types-88800f242137 (accessed on 14 November 2023).