IMPLEMENTASI DEEP LEARNING UNTUK GENERATE CAPTION GAMBAR DENGAN VISUAL GEOMETRY GROUP ( VGG19 ) DAN GATED RECURRENT UNIT

Abstract

Generate caption pada gambar merupakan salah satu penerapan kecerdasan buatan yang membuat mesin mampu menghasilkan deskripsi secara otomatis berdasarkan dataset gambar dan teks gambar. Gambar lebih mudah untuk dipahami pada sebagian orang walaupun informasi yang disampaikan memberi pemahaman yang berbeda-beda. Teknologi membuat penyampaian informasi visual bertransformasi ke dalam bentuk digital dimana suatu file gambar memiliki deskripsi (caption) yang menerangkat isi file. Mesin mampu membuat deskripsi gambar secara otomatis menggunakan arsitektur VGG19 (Visual Geometry Group) dari model Convolutional Neural Netwok untuk mengekstrak fitur gambar dan GRU (Gated Recurrent Unit) dari model Recurrent Neural Network untuk mengolah data sekuensial. Dalam penelitian ini, implementasi model deep learning untuk menghasilkan prediksi deskripsi gambar digunakan untuk keterangan pada gambar yang akan di posting pada situs Shutterstock. Pelatihan model deep learning menghasilkan akurasi 0.7949 dan loss 0.9957 dalam 20 epoch iterasi. Hanya 1 gambar yang diterima oleh situs Shutterstock dari 15 gambar yang menggunakan deskripsi yang dihasilkan oleh mesin.