Deepfake merupakan salah satu internet sensation yang menjadi perhatian banyak orang dalam kurun waktu 2-3 tahun terakhir. Mulai dari Barrak Obama hingga Tom Cruise menjadi perbincangan. Apa yang dimaksud dengan deepfake dan bagaimana mendeteksinya? Simak artikel yang ditulis oleh Angelica Roseanne, mahasiswa Informatika UC semester 6 berikut  ini.

Apa itu Deepfake?

Selama ini banyak orang berpikir bahwa sebuah video akan sulit untuk dimanipulasi, bahkan video dapat dianggap sebagai bukti kuat yang dapat dipertanggungjawabkan. Namun kemunculan deepfake seakan mematahkan prinsip tersebut. Deepfake (gabungan dari kata “deep learning” dan “fake”) adalah teknik untuk menempatkan gambar wajah orang “sebenarnya” dalam suatu video menjadi wajah target sehingga seolah – olah target tersebut melakukan atau mengatakan hal-hal yang dilakukan orang “sebenarnya” [1] . Secara sederhana deepfake dapat diilustrasikan sebagai berikut :
Illustrasi Deepfake

Illustrasi Deepfake

Hal yang membedakan deepfake dengan berbagai video hasil manipulasi lainnya adalah hasilnya potensinya untuk hasil fotorealistik [1]. Dengan asset gambar yang cukup dan waktu training yang memadai, video yang dihasilkan dapat sangat meyakinkan. Sehingga tidak dapat dipungkiri bahwa deepfake cenderung digunakan untuk membuat berbagai macam video palsu, mulai dari pidato presiden negara maupun publik figur yang dipercaya oleh banyak orang. Salah satu contoh deepfake yang terkenal yaitu video pidato Barack Obama berikut :

Mengetahui begitu banyak video deepfake yang tersebar di mana – mana menjadi tantangan sendiri bagi para ahli teknologi untuk mengembangkan deepfake detection. Sesuai dengan namanya, teknologi ini bertujuan untuk memudahkan kita membedakan suatu video termasuk “fake” atau “real” dengan bantuan komputer.

Bagaimana mendeteksi Deepfake?

Secara sederhana, deepfake detection bekerja dengan melakukan klasifikasi “fake” ataupun “real” berdasarkan data video dan gambar yang telah disediakan. Sayangnya jumlah deepfake semakin meningkat sehingga timbul keterbatasan dalam menetapkan suatu patokan yang dapat digunakan dalam memvalidasi berbagai metode deteksi. Untuk mengatasi masalah ini, Korshunov dan Marcel menghasilkan deepfake yang terkenal kumpulan data yang terdiri dari 620 video berdasarkan model GAN agar dapat dilakukan pengujian pada berbagai metode deteksi deepfake yang telah dibuat [2].

 

Membedakan suatu gambar merupakan hasil buatan algoritma GAN merupakan sesuatu cukup rumit, maka dari itu Guarnera, Giudice, Battiato [2] melakukan pendekatan dengan menyelidiki deepfake dengan menggunakan semacam reverse engineering dari lapisan GAN yang telah dibuat. Penelitian didasarkan pada algoritma Expectation Maximization (EM) yang mana dapat menghasilkan korelasi pixel dari suatu image. Pada kasus ini, yang dihasilkan adalah nilai prediksi berupa vektor yang merepresentasikan struktur hasil transpose suatu layer GAN tertentu sehingga dapat diketahui suatu video termasuk deepfake atau tidak. Deteksi dengan menerapkan algoritma EM ini dapat dikatakan efektif membedakan gambar yang dihasilkan oleh arsitektur GAN yang berupa wajah orang.

Meskipun ada berbagai macam metode jenis deteksi deepfake yang sudah dilakukan, metode tersebut belum dapat dikatakan efektif dalam menangani manipulasi deepfake yang tidak terduga atau disebut sebagai cross – domain adaptation.  Maka dari itu, dalam [3] dilakukan pendekatan kinerja pendeteksian yang kuat dalam suatu jangkauan skenario termasuk dalam cross – domain adaptation.

Pendekatan yang ditawarkan [3] terinspirasi dari arsitektur  Xception Net, recurrent processing di ConvLSTM dan FaceNetLSTM. Solusi ini menggunakan convolutional arsitektur untuk memeroleh representasi vektor dari area wajah pada frame yang kemudian dipelajari oleh modul LSTM dalam membedakan manipulasi wajah dengan wajah asli. Training model dilakukan dengan FaceForensics++ dan transfer learning CelebDF. Berdasarkan pengujian yang telah dilakukan, model telah terbukti dapat membedakan jenis fake yang baru tanpa mengurangi kemampuan untuk mengklasifikasikan pola fake yang telah dipelajari sebelumnya.

Dalam [4] disebutkan bahwa metode CNN(Convolutional Neural Network) memang menghasilkan hasil yang baik, namun metode ini membutuhkan jumlah data yang besar dan perlu untuk ditingkatkan seiring berjalannya waktu. Di lain sini, didapatkan bahwa begitu banyak hasil manipulasi wajah deepfake tidak berkedip dengan alami maka dari itu peneliti melakukan pendekatan dengan DeepVision. Solusi yang ditawarkan menerapkan metode yang memprediksi jumlah kedipan mata orang pada usia dan jenis kelamin tertentu yang akan terjadi dalam kondisi tertentu.

Namun, didapatkan batasan penelitian bahwa berkedip juga berkorelasi dengan penyakit mental dan aktivitas dopamin sehingga metode ini belum dapat diterapkan untuk orang dengan penyakit mental atau masalah pada saraf. Peneliti menyarankan bahwa algoritma verifikasi dilakukan hanya berdasarkan piksel.

Kesimpulan

Deepfake merupakan suatu teknik untuk menempatkan gambar wajah orang “sebenarnya” dalam suatu video menjadi wajah target sehingga seolah – olah target tersebut melakukan atau mengatakan hal-hal yang dilakukan orang “sebenarnya”.

Melihat fakta bahwa deepfake terus menyebar dan berkembang menimbulkan urgensi tersendiri akan pentingnya deteksi teknologi ini. Secara sederhana, pendeteksian bekerja dengan melakukan klasifikasi “fake” ataupun “real” berdasarkan data video dan gambar yang telah disediakan. Ada berbagai macam metode deteksi yang telah diteliti dan setiap metode pasti memiliki keunggulan dan kekurangan masing – masing sehingga deteksi deepfake juga masih dikembangkan sampai saat ini.

Teknologi akan terus berkembang, namun semua kendali ada di tangan kita. Bagaimana cara kita menggunakan teknologi berperan besar dalam kehidupan kita. Maka dari itu, penting bagi kita untuk menjadi seorang pengguna teknologi yang cerdas dan selektif dalam mempercayai apapun itu.

Referensi

[1] T. Thi Nguyen, C. M. Nguyen, D. Tien Nguyen, D. Thanh Nguyen and S. Nahavandi, “Deep Learning for Deepfakes Creation and Detection: A Survey”, 2019, p. 12.

[2] L. Guarnera, O. Giudice and S. Battiato, “Fighting Deepfake by Exposing the Convolutional Traces on Images”, IEEE Access, vol. 8, pp. 165085-165098, 2020.

[3] A. Chintha, B. Thai, S. Sohrawardi, K. Bhatt, A. Hickerson, M. Wright and R. Ptucha, “Recurrent Convolutional Structures for Audio Spoof and Video Deepfake Detection”, IEEE Journal of Selected Topics in Signal Processing, vol. 14, no. 5, pp. 1024-1037, 2020.

[4] T. Jung, S. Kim and K. Kim, “DeepVision: Deepfakes Detection Using Human Eye Blinking Pattern”, IEEE Access, vol. 8, pp. 83144-83154, 2020.

[5] J. Neves, R. Tolosana, R. Vera-Rodriguez, V. Lopes, H. Proenca and J. Fierrez, “GANprintR: Improved Fakes and Evaluation of the State of the Art in Face Manipulation Detection”, IEEE Journal of Selected Topics in Signal Processing, vol. 14, no. 5, pp. 1038-1048, 2020.

[6] L. Verdoliva, “Media Forensics and DeepFakes: An Overview”, IEEE Journal of Selected Topics in Signal Processing, vol. 14, no. 5, pp. 910-932, 2020.

[7] C. Vaccari and A. Chadwick, “Deepfakes and Disinformation: Exploring the Impact of Synthetic Political Video on Deception, Uncertainty, and Trust in News”, Social Media + Society, vol. 6, no. 1, p. 205630512090340, 2020.

 

Ditulis oleh:

Angelica Roseanne (aroseanne@student.ciputra.ac.id)