Web Scraping with HTML DOM Method for Data Collection of Scientific Articles from Google Scholar

Abstract

Abstrak. Google Scholar adalah layanan berbasis web untuk mencari literatur akademik. Berbagai jenis referensi yang dapat diakses contohnya adalah: makalah peer-review, tesis, buku, abstrak dan artikel dari penerbit akademik, komunitas profesional, pusat data pra-cetak, universitas dan organisasi akademik lainnya. Google Scholar menyediakan fitur pembuatan profil untuk setiap peneliti, pakar, dan dosen. Jumlah publikasi dari lembaga akademis bersama dengan data yang detail tentang publikasi artikel ilmiah dapat diakses melalui Google Scholar. Rekapitulasi publikasi artikel ilmiah dari masing-masing peneliti di suatu lembaga diperlukan untuk menentukan kinerja penelitian secara kolektif. Namun, hal ini masih menyisakan masalah, yaitu belum tersedianya layanan rekapitulasi publikasi artikel ilmiah untuk setiap peneliti di suatu lembaga. Oleh karena itu, penelitian ini berupaya melakukan rekapitulasi publikasi artikel ilmiah. Pengumpulan data dari Google Scholar dilakukan dengan menerapkan teknologi web scrapping. Eksperimen web scrapping dari Google Scholar dalam penelitian ini telah berhasil mengambil 238 data peneliti dan 2.523 file artikel. Data yang telah diunduh disimpan ke dalam basis data, kemudian digunakan untuk rekapitulasi publikasi artikel ilmiah, yang dapat menampilkan: daftar profil peneliti, daftar afiliasi, daftar kutipan, dan daftar judul artikel yang dapat dicetak dalam bentuk *.pdf atau *.xlsx dan dilengkapi dengan pencarian data dan fitur penyortiran.Abstract. Google Scholar is a web-based service for searching broad academic literature. Various types of references can be accessed such as: peer-reviewed papers, theses, books, abstracts and articles from academic publishers, professional communities, pre-printed data center, universities and other academic organizations. Google Scholar provides the profile creation feature of every researcher, expert, and lecturer. The quantity of publication from an academic institution along with detailed data on the publication of scientific articles can be accessed through Google Scholar. Recapitulation of the publication of scientific articles of each researcher in an institution is needed to determine the research performance collectively. However, it still leaves a problem, that is the unavailability of recapitulation services publication of scientific articles for each researcher in an institution. Therefore, this study attempts to make the recapitulation of scientific article publications. Data collection from Google Scholar was carried out by applying web scraping technology. The scraping experiment from Google Scholar in this study has succeeded in retrieving 238 researchers' data and 2,523 article files. The data that had been downloaded was stored in a database, then used to recapitulate the publication of scientific articles, which can display: a list of researcher profiles, a list of affiliations, a list of

Web Scraping Situs Berita Menggunakan Bahasa Pemograman Python

“…Teknik mendapatkan informasi dari website secara otomatis tanpa harus menyalinnya secara manual. Web scraping berfokus dalam mendapatkan data dan informasi dapat berupa, teks, tautan dengan cara pengambilan dan ekstraksi untuk diambil data tertentu dari halaman tersebut agar bisa digunakan kembali oleh sistem lain maupun di analisis lebih lanjut (Arisandi et al, 2021;Flores et al, 2020;Rahmatulloh & Gunawan, 2020). Umumnya data yang diperoleh berupa laman web dokumen HTML dengan memilih bagian tertentu, kemudian di transformasi dari bentuk yang tidak terstruktur dalam format HTML menjadi format data terstruktur dan disimpan dalam format data tertentu (Priyanto & Ma'arif, 2018;Satriajati et al, 2021).…”

Implementasi Web Scraping Dalam Pengumpulan Berita Kriminal Pada Masa Pandemi Covid-19

“…Tidak seperti kegiatan web crawling yang mengunjungi seluruh situs yang berhubungan dengan situs utamanya, kegiatan web scraping hanya melakukan ekstraksi data tertentu saja dari situs yang dituju sesuai dengan kebutuhan (Setiawan et al, 2020). Hasil dari web scraping sendiri dapat dimanfaatkan kembali oleh sistem lain maupun dianalisis lebih lanjut (Rahmatulloh & Gunawan, 2020).…”

Deteksi Hoaks Pada Berita Berbahasa Indonesia Seputar COVID-19

“…Web Scraping adalah proses pengambilan sebuah dokumen semi-terstruktur dari internet, umumnya berupa halaman-halaman web dalam bahasa markup seperti HTML atau XHTML, dan menganalisis dokumen tersebut untuk diambil data tertentu dari halaman tersebut untuk digunakan bagi kepentingan lain [4]. Hasil dari web scraping dapat dimanfaatkan kembali oleh sistem lain dan dianalisis lebih lanjut [16].…”