Akuisisi Data Menggunakan Teknik Web Scraping untuk Konstruksi Basis Data Riset
DOI:
https://doi.org/10.52436/1.jpti.1425Keywords:
Akuisisi, Basis data riset, Integrasi informasi, Transformasi data, Web scrapingAbstract
Permasalahan utama dalam pengelolaan data riset di Indonesia adalah keterbatasan akses dan integrasi informasi dari berbagai sumber resmi, seperti SINTA, Scopus, Google Scholar, Garuda, buku, Hak Kekayaan Intelektual (HKI), penelitian, dan pengabdian masyarakat. Kondisi ini menyulitkan proses analisis kinerja riset, pemetaan kolaborasi, serta perencanaan strategis pengembangan riset. Penelitian ini bertujuan untuk membangun sistem akuisisi basis data riset yang mampu mengumpulkan data secara otomatis dari berbagai sumber tersebut menggunakan teknik web scraping. Metode penelitian mencakup perancangan arsitektur pengambilan data, pengembangan modul scraping untuk tiap sumber, proses ekstraksi dan transformasi data, serta penyimpanan hasil dalam basis data terintegrasi. Data hasil scraping kemudian disajikan melalui aplikasi berbasis web yang memungkinkan pencarian, visualisasi, dan analisis data riset secara terpadu. Hasil implementasi menunjukkan bahwa sistem mampu mengakuisisi dan menyimpan data penulis (author), publikasi Scopus, Google Scholar, Garuda, buku, HKI, penelitian, dan pengabdian secara konsisten dan terstruktur. Dampak dari penelitian ini adalah tersedianya basis data riset yang komprehensif dan terpusat, yang dapat mendukung pengambilan keputusan, meningkatkan transparansi kinerja riset, serta mempercepat proses kolaborasi dan inovasi di lingkungan akademik.
Downloads
References
J. Mingers, J. R. O. Hanley, and M. Okunola, “Using Google Scholar institutional level data to evaluate the quality of university research,” Scientometrics, vol. 113, no. 3, pp. 1649–1665, 2017, doi: 10.1007/s11192-017-2532-6.
J. Tjaden, “Web Scraping for Migration, Mobility, and Migrant Integration Studies: Introduction, Application, and Potential Use Cases,” Int. Migr. Rev., vol. 15, no. 3, 2023, doi: https://doi.org/10.1177/01979183231208428.
R. Ulloa, F. Mangold, F. Schmidt, and J. Gilsbach, “Beyond time delays?: how web scraping distorts measures of online news consumption,” Commun. Methods Meas., vol. 00, no. 00, pp. 1–22, 2025, doi: 10.1080/19312458.2025.2482538.
I. Finocchi, A. Martino, F. Ranjbar, and B. Sinaimeri, “Data cleaning and enrichment through data integration?: networking the Italian academia,” Sci. Data, vol. 12, pp. 1–16, 2025, doi: 10.1038/s41597-025-04608-6.
K. Hornik, “Metadata Harvesting with R and OAI-PMH,” in OAIHarvester vignette, 2024, pp. 1–7.
M. A. Brown, A. Gruen, G. Maldoff, S. Messing, and M. Zimmer, “Web Scraping for Research: Legal, Ethical, Institutional, and Scientific Considerations,” in arXiv, 2024, pp. 1–43.
C. Lotfi, S. Srinivasan, M. Ertz, and I. Latrous, “Web Scraping Techniques and Applications?: A Literature Review,” in SCRS Conference Proceedings on Intelligent Systems, 2021, pp. 381–394. doi: https://doi.org/10.52458/978-93-91842-08-6-38.
M. Nowakowska, “A comprehensive approach to preprocessing data for bibliometric analysis,” Scientometrics, no. 0123456789, 2025, doi: 10.1007/s11192-025-05415-x.
M. M. Amin, A. Firdaus, and Y. Dwitayanti, “Model Rekomendasi Jurnal dengan Algoritma Jaccard Similarity dan Protokol OAI- PMH Journal Recommendation Model with Jaccard Similarity Algorithm and OAI-PMH Protocol,” J. Pendidik. dan Teknol. Indones., vol. 4, no. 10, pp. 489–499, 2024, doi: https://doi.org/10.52436/1.jpti.725.
M. M. Amin, A. Sutrisman, and Y. Dwitayanti, “Google Scholar Crawling for Constructing Research Database,” in 7th FIRST 2023 International Conference on Global Innovations (FIRST-ESCSI 2023), Atlantis Press International BV, 2024, pp. 331–337. doi: 10.2991/978-94-6463-386-3.
A. Hamid et al., “Pengembangan Aplikasi Lamar Bagawi dengan Metode SDLC Waterfall untuk Pengelolaan Lowongan Kerja di Kabupaten Balangan Development of the Lamar Bagawi Application with the SDLC Waterfall Method for Job Vacancy Management in Balangan Regency,” J. Pendidik. dan Teknol. Indones., vol. 5, no. 2, pp. 321–329, 2025, doi: https://doi.org/10.52436/1.jpti.658.
N. N. Umami and A. Yudhistira, “Pengembangan Sistem Pelaporan Keuangan Berbasis Web Menggunakan Metode Waterfall Untuk Meningkatkan Transparansi Pengelolaan Dana di MTS MA Margodadi Fakultas Teknik dan Ilmu Komputer , Universitas Teknokrat Indonesia , Indonesia Development of a Web-Base,” J. Pendidik. dan Teknol. Indones., vol. 5, no. 4, pp. 909–918, 2025, doi: https://doi.org/10.52436/1.jpti.725.
S. S. Verdananti, K. R. Ummah, and U. P. Boyolali, “Rancang Bangun Sistem Informasi Berbasis Web untuk Pendataan Hasil Susu Sapi di Usaha Dagang Pramono Boyolali Teknik Informatika , Universitas Muhammadiyah Surakarta , Indonesia Design af A Web-Based Information System for Data Collection af Cow ’ s Milk,” J. Pendidik. dan Teknol. Indones., vol. 5, no. 7, pp. 1891–1903, 2025, doi: https://doi.org/10.52436/1.jpti.713.
A. Ri and W. Widayat, “Rancang Bangun Sistem Informasi Rekam Medis Pasien Bersalin Berbasis Website Design and Development of a Web-Based Medical Record Information System for Maternity Patients,” J. Pendidik. dan Teknol. Indones., vol. 5, no. 6, pp. 1595–1608, 2025, doi: https://doi.org/10.52436/1.jpti.839.
M. Kurniasih, W. Widayat, T. Informatika, F. Komunikasi, and U. M. Surakarta, “Sistem Informasi Manajemen Stok Berbasis Web Menggunakan Framework Laravel A WEB-BASED STOCK MANAGEMENT INFORMATION SYSTEM USING THE LARAVEL FRAMEWORK,” J. Pendidik. dan Teknol. Indones., vol. 5, no. 5, pp. 1457–1469, 2025, doi: https://doi.org/10.52436/1.jpti.816.
I. Sommerville, Software Engineering, 10th ed. Boston: Pearson Education, 2016.
