IMPLEMENTASI GENERATIVE PRE-TRAINED TRANSFORMERS 2 UNTUK MENGOREKSI KESALAHAN PENULISAN BAHASA INDONESIA PADA DOKUMEN JURNAL

Abstract

Kesalahan penulisan dokumen jurnal menjadi masalah yang dapat mempengaruhi proses lamanya publish pada suatu jurnal, karena proses pembuatan hingga rilisnya sebuah jurnal membutuhkan proses yang panjang terutama pada proses journal review. Untuk mengatasi hal ini, diimplementasikan model Generative Pre-Trained Transformers 2 (GPT-2) yang telah dilatih khusus untuk bahasa Indonesia, yaitu model Cahya/GPT-2- small-Indonesian-522M dari huggingface.co, untuk digunakan pada tugas koreksi kesalahan penulisan pada dokumen jurnal 6-8 halaman. Dalam penelitian ini, dilakukan metode fine tuning pada model Cahya/GPT-2-small-Indonesian-522M menggunakan dataset dengan format teks (.txt) yang terdiri dari pasangan teks asli dan teks yang telah dikoreksi dengan benar. Tujuan dari fine tuning adalah membuat model dapat melakukan tugas spesifik (koreksi penulisan) dari tugas awalnya dengan mempelajari pola kesalahan penulisan bahasa Indonesia agar dapat meningkatkan kemampuan model dalam memperbaiki kesalahan tersebut. Hasil implementasi menunjukkan bahwa penggunaan model Cahya/GPT-2-small-Indonesian-522M yang telah melalui proses fine tuning memberikan skor BLEU sebesar 0,482. Skor BLEU tersebut mengindikasikan hasil yang cukup baik pada sebuah model dalam mengukur tingkat kesamaan teks asli dengan teks keluaran dari model. Penelitian juga menunjukkan bahwa GPT-2 lebih unggul dan cocok digunakan untuk tugas paraphrase sebuah teks.