IMPLEMENTASI GENERATIVE PRE-TRAINED TRANSFORMERS 2 (GPT-2) DALAM PEMBUATAN ABSTRAK PADA DOKUMEN JURNAL

Abstract

Meningkatnya jumlah konten digital dan teks panjang dalam era informasi yang semakin maju, abstrak menjadi solusi efisien untuk menyajikan ringkasan singkat dari teks yang lebih panjang. Namun membuat abstrak yang benar menjadi sebuah tantangan karena beberapa abstrak tidak memberikan informasi tentang hasil penelitian dan tujuan penelitian, sehingga mempersulit pembaca dalam memahami konten jurnal tersebut. Tujuan dari tugas akhir ini yaitu menerapkan penggunaan model Generative PreTrained Transformers 2 (GPT-2) dalam pembuatan abstrak pada dokumen jurnal. Model yang digunakan pada penelitian ini adalah model Cahya/GPT-2-small-Indonesian-522M dari huggingface.co untuk digunakan dalam memahami pola pembuatan abstrak. Dalam penelitian ini, peneliti melakukan fine tuning pada model GPT-2 menggunakan dataset teks jurnal yang terdiri dari dataset pasangan, yaitu data input yang berisi teks kurang dari sama dengan 512 kata dan teks acuan berisi teks hasil ringkasan dari teks input. Hasil implementasi menggunakan model GPT-2 menunjukkan dengan menggunakan model evaluasi BLEU memberikan hasil dengan skor BLEU 0,551. Dalam konteks ini, menunjukkan bahwa model yang digunakan pada penelitian ini masih perlu penyesuaian kembali karena keterbatasan dalam dataset.