Pengembangan Question Answering System Menggunakan Large Language Model UU TNI 2025
DOI:
https://doi.org/10.52436/1.jpti.1396Keywords:
BERT, Large Language Model, Question Answering System, RUU TNI 2025Abstract
Undang-Undang Tentara Nasional Indonesia (UU TNI) merupakan landasan hukum yang mengatur peran, tugas, dan fungsi TNI dalam menjaga kedaulatan negara. Seiring dengan perkembangan zaman, RUU TNI 2025 sedang dibahas untuk memperbarui undang-undang tersebut agar sesuai dengan tantangan zaman, khususnya dalam menghadapi ancaman siber dan perubahan global lainnya. Meskipun demikian, revisi RUU ini menuai kontroversi, terutama terkait dengan tiga pasal yang dianggap kontroversial dan berpotensi memperlebar ruang lingkup tugas TNI hingga melibatkan sektor sipil. Penelitian ini Bertujuan untuk mengembangkan sebuah sistem tanya jawab berbasis Large Language Model (LLM) untuk mempermudah masyarakat memperoleh informasi secara cepat, akurat, dan mudah dipahami mengenai pasal-pasal kontroversial dalam RUU TNI 2025. Dengan menggunakan model BERT, sistem ini dapat memberikan jawaban otomatis yang relevan dan memproses pertanyaan yang diajukan oleh pengguna. Metode penelitian melibatkan pengumpulan data, pemrosesan teks, pelatihan model LLM, dan evaluasi kinerja menggunakan metrik precision, recall, dan F1 score. Hasil evaluasi menunjukkan sistem mencapai precision 0,7240, recall 0,7850, dan F1 score 0,7529, yang menandakan performa tinggi dalam memberikan jawaban relevan dan akurat. Hasil penelitian menunjukkan bahwa sistem yang dikembangkan mampu memberikan jawaban yang akurat dan relevan dengan tingkat keakuratan yang tinggi. Kesimpulannya, sistem tanya jawab berbasis LLM ini dapat menjadi solusi yang efektif dalam meningkatkan pemahaman masyarakat terhadap RUU TNI 2025, memperkenalkan teknologi kecerdasan buatan dalam mendukung transparansi informasi publik, serta mengurangi kebingungan terkait dengan peraturan yang kompleks.
Downloads
References
R. Gupta, “UNDANG-UNDANG REPUBLIK INDONESIA NOMOR 34 TAHUN 2004,” CWL Publ. Enterp. Inc., Madison, vol. 2004, no. May, p. 352, 2004, [Online]. Available: http://onlinelibrary.wiley.com/doi/10.1002/cbdv.200490137/abstract
J. Robinson and D. Wingate, “Leveraging Large Language Models for Multiple Choice Question Answering,” 11th Int. Conf. Learn. Represent. ICLR 2023, pp. 1–28, 2023.
Y. Gao, D. T. Baptista-Hon, and K. Zhang, “The inevitable transformation of medicine and research by large language models: The possibilities and pitfalls,” MedComm - Futur. Med., vol. 2, no. 2, pp. 2–3, 2023, doi: https://doi.org/10.1002/mef2.49.
H. Xiong, J. Bian, S. Yang, X. Zhang, L. Kong, and D. Zhang, “Natural Language based Context Modeling and Reasoning for Ubiquitous Computing with Large Language Models: A Tutorial,” pp. 1–28, 2023, doi: https://doi.org/10.48550/arXiv.2309.15074.
J. Cui et al., “Chatlaw: A Multi-Agent Collaborative Legal Assistant with Knowledge Graph Enhanced Mixture-of-Experts Large Language Model,” pp. 1–30, 2023, doi: https://doi.org/10.48550/arXiv.2309.15074.
D. Milasanti, “Sistem Chatbot Berbasis Large Language Model (LLM) dan Retrieval Augmented Generation (RAG) Pada Artikel Ilmiah Garuda Kemendikbud,” ????, vol. 15, no. 1, pp. 37–48, 2024.
Aji Bayu Permadi, Nazruddin Safaat H, Lestari Handayani, and Yusra, “Implementasi Question Answering System Tafsir Al-Azhar Menggunakan Langchain Dan Large Language Model Berbasis Chatbot Telegram,” J. Teknoif Tek. Inform. Inst. Teknol. Padang, vol. 12, no. 1, pp. 62–69, 2024, doi: https://doi.org/10.21063/jtif.2024.V12.1.62-69.
P. Rivas and L. Zhao, “Marketing with ChatGPT: Navigating the Ethical Terrain of GPT-Based Chatbot Technology,” AI, vol. 4, no. 2, pp. 375–384, 2023, doi: https://doi.org/10.3390/ai4020019.
S. Koos and S. Wachsmann, “Navigating the Impact of ChatGPT/GPT4 on Legal Academic Examinations: Challenges, Opportunities and Recommendations,” Media Iuris, vol. 6, no. 2, pp. 255–270, 2023, doi: https://doi.org/10.20473/mi.v6i2.45270.
O. Palagin, V. Kaverinsky, A. Litvin, and K. Malakhov, “OntoChatGPT Information System: Ontology-Driven Structured Prompts for ChatGPT Meta-Learning,” Int. J. Comput., vol. 22, no. 2, pp. 170–183, 2023, doi: https://doi.org/10.47839/ijc.22.2.3086.
B. Meskó and E. J. Topol, “The imperative for regulatory oversight of large language models (or generative AI) in healthcare,” npj Digit. Med., vol. 6, no. 1, pp. 1–6, 2023, doi: https://doi.org/10.1038/s41746-023-00873-0.
J. Mökander, J. Schuett, H. R. Kirk, and L. Floridi, Auditing large language models: a three-layered approach, vol. 4, no. 4. Springer International Publishing, 2024. doi: 10.1007/s43681-023-00289-2.
A. T. U. B. Lubis, N. S. Harahap, S. Agustian, M. Irsyad, and I. Afrianty, “Question Answering System pada Chatbot Telegram Menggunakan Large Language Models (LLM) dan Langchain (Studi Kasus UU Kesehatan),” MALCOM Indones. J. Mach. Learn. Comput. Sci., vol. 4, no. 3, pp. 955–964, 2024, doi: https://doi.org/10.57152/malcom.v4i3.1378.
L. R. M. Gede Putra Nugraha, Lya Hulliyyatus Suadaa*, Nori Wilantika, “Pengembangan Aplikasi Chatbot dengan Large Language Model untuk Text-to-SQL Generation,” Semin. Nas. Off. Stat. 2024, vol. 1, no. 1, pp. 831–840, 2024, doi: https://doi.org/10.34123/semnasoffstat.v2024i1.2252.
J. Nay, “Large Language Models as Fiduciaries: A Case Study Toward Robustly Communicating With Artificial Intelligence Through Legal Standards,” SSRN Electron. J., pp. 1–27, 2023, doi: https://dx.doi.org/10.2139/ssrn.4335945.
D. C. K. Gomathy, “Data Mining Preparation: Process, Techniques and Major Issues in Data Analysis,” Interantional J. Sci. Res. Eng. Manag., vol. 06, no. 11, pp. 1–6, 2022, doi: https://doi.org/10.55041/ijsrem16833.
A. L. Lezama-Sánchez, M. Tovar Vidal, and J. A. Reyes-Ortiz, “Integrating Text Classification into Topic Discovery Using Semantic Embedding Models,” Appl. Sci., vol. 13, no. 17, pp. 1–15, 2023, doi: https://doi.org/10.3390/app13179857.
Q. Huang et al., “Lawyer LLaMA Technical Report,” pp. 1–19, 2023, doi: https://doi.org/10.48550/arXiv.2305.15062.
F. Yang et al., “Empower Large Language Model to Perform Better on Industrial Domain-Specific Question Answering,” EMNLP 2023 - 2023 Conf. Empir. Methods Nat. Lang. Process. Proc. Ind. Track, pp. 294–312, 2023, doi: https://doi.org/10.18653/v1/2023.emnlp-industry.29.
Prabowo Subiyanto, “UU No. 3 Tahun 2025,” Undang. Nomor 3 Tahun 2025 Tentang TNI, no. 255658, 2025.










