Abstract:
Generate caption pada gambar merupakan salah satu penerapan kecerdasan
buatan yang membuat mesin mampu menghasilkan deskripsi secara otomatis berdasarkan
dataset gambar dan teks gambar. Gambar lebih mudah untuk dipahami pada sebagian
orang walaupun informasi yang disampaikan memberi pemahaman yang berbeda-beda.
Teknologi membuat penyampaian informasi visual bertransformasi ke dalam bentuk
digital dimana suatu file gambar memiliki deskripsi (caption) yang menerangkat isi file.
Mesin mampu membuat deskripsi gambar secara otomatis menggunakan arsitektur
VGG19 (Visual Geometry Group) dari model Convolutional Neural Netwok untuk
mengekstrak fitur gambar dan GRU (Gated Recurrent Unit) dari model Recurrent Neural
Network untuk mengolah data sekuensial. Dalam penelitian ini, implementasi model deep
learning untuk menghasilkan prediksi deskripsi gambar digunakan untuk keterangan
pada gambar yang akan di posting pada situs Shutterstock. Pelatihan model deep learning
menghasilkan akurasi 0.7949 dan loss 0.9957 dalam 20 epoch iterasi. Hanya 1 gambar
yang diterima oleh situs Shutterstock dari 15 gambar yang menggunakan deskripsi yang
dihasilkan oleh mesin.
