Abstract:
Kesalahan penulisan dokumen jurnal menjadi masalah yang dapat mempengaruhi proses
lamanya publish pada suatu jurnal, karena proses pembuatan hingga rilisnya sebuah jurnal
membutuhkan proses yang panjang terutama pada proses journal review. Untuk
mengatasi hal ini, diimplementasikan model Generative Pre-Trained Transformers 2
(GPT-2) yang telah dilatih khusus untuk bahasa Indonesia, yaitu model Cahya/GPT-2-
small-Indonesian-522M dari huggingface.co, untuk digunakan pada tugas koreksi
kesalahan penulisan pada dokumen jurnal 6-8 halaman. Dalam penelitian ini, dilakukan
metode fine tuning pada model Cahya/GPT-2-small-Indonesian-522M menggunakan
dataset dengan format teks (.txt) yang terdiri dari pasangan teks asli dan teks yang telah
dikoreksi dengan benar. Tujuan dari fine tuning adalah membuat model dapat melakukan
tugas spesifik (koreksi penulisan) dari tugas awalnya dengan mempelajari pola kesalahan
penulisan bahasa Indonesia agar dapat meningkatkan kemampuan model dalam
memperbaiki kesalahan tersebut. Hasil implementasi menunjukkan bahwa penggunaan
model Cahya/GPT-2-small-Indonesian-522M yang telah melalui proses fine tuning
memberikan skor BLEU sebesar 0,482. Skor BLEU tersebut mengindikasikan hasil yang
cukup baik pada sebuah model dalam mengukur tingkat kesamaan teks asli dengan teks
keluaran dari model. Penelitian juga menunjukkan bahwa GPT-2 lebih unggul dan cocok
digunakan untuk tugas paraphrase sebuah teks.
