Para peneliti telah menciptakan sistem yang dapat menerjemahkan pikiran yang ada di kepala kita menjadi perkataan yang dapat dipahami dan dikenali.
Dengan memonitor aktivitas otak seseorang, teknologinya dapat merekonstruksi kata-kata yang dapat didengar seseorang dengan sangat jelas. Terobosan ini, yang memanfaatkan kekuatan percakapan synthesizer dengan kecerdasan buatan, dapat mengarah pada cara-cara baru bagi komputer untuk berkomunikasi secara langsung dengan otak.
Ini juga meletakkan dasar untuk membantu orang-orang yang tidak bisa berbicara, seperti mereka yang hidup dengan amyotrophic lateral sclerosis (ALS) atau peumulihan dari stroke, sehingga memiliki kembali kemampuan untuk berkomunikasi dengan dunia luar.
Temuan ini diterbitkan di Scientific Reports .
Penelitian yang telah dilakukan selama beberapa dekade telah menunjukkan bahwa ketika orang sedang berbicara — atau bahkan membayangkan sedang berbicara — maka pola aktivitas muncul di otak mereka. Pola sinyal yang berbeda (tetapi dapat dikenali) juga muncul ketika kita mendengarkan seseorang sedang berbicara, atau membayangkan sedang mendengarkannya.
Para ahli, yang mencoba merekam dan mendekodekan pola-pola ini, melihat masa depan di mana pikiran tidak perlu untuk tetap tersembunyi di dalam otak, tetapi sebaliknya dapat diterjemahkan ke dalam sebuah percakapan verbal sesuka hati.
Upaya awal untuk memecahkan kode sinyal dari otak yang dilakukan oleh Dr. Mesgarani penulis senior makalah dan seorang peneliti utama di Mortimer B. Zuckerman Mind Brain Behavior Institute di Universitas Columbia dan yang lainnya, berfokus pada model komputer sederhana yang menganalisis spektogram, yang merupakan representasi secara visual dari frekuensi suara.
Tetapi karena pendekatan ini telah gagal menghasilkan sesuatu yang menyerupai ucapan yang dapat dimengerti, tim Dr. Mesgarani beralih ke vocoder, sebuah algoritma komputer yang dapat mensintesis ucapan setelah dilatih melalui rekaman pembicaraan orang.
Untuk mengajar sang juru bahasa untuk menafsirkan aktivitas otak, Dr. Mesgarani bekerja sama dengan Ashesh Dinesh Mehta, seorang ahli bedah saraf di Northwell Health Physician Partners Neuroscience Institute dan rekan penulis makalah. Mehta yang merawat pasien epilepsi, beberapa di antaranya harus menjalani operasi rutin.
“Bekerja dengan Dr. Mehta, kami meminta pasien epilepsi yang sudah menjalani operasi otak untuk mendengarkan kalimat yang diucapkan oleh orang yang berbeda, sementara kami mengukur pola aktivitas otaknya,” kata Dr. Mesgarani. “Pola saraf ini melatih vokoder.”
Selanjutnya, para peneliti meminta pasien yang sama untuk mendengarkan pengeras suara yang membaca angka antara 0 hingga 9, sambil merekam sinyal otak yang kemudian dapat dijalankan melalui vocoder. Suara yang dihasilkan oleh vocoder sebagai respons terhadap sinyal-sinyal itu dianalisis dan dibersihkan oleh jaringan saraf, sejenis kecerdasan buatan yang meniru struktur neuron pada otak biologis.
Hasil akhirnya adalah suara yang terdengar seperti robot yang membacakan urutan angka. Untuk menguji keakuratan rekaman, Dr. Mesgarani dan timnya menugaskan seseorang untuk mendengarkan rekaman dan melaporkan apa yang telah mereka dengar.
“Kami menemukan bahwa orang dapat memahami dan mengulangi suara sekitar 75% dari waktu, yang jauh di atas dan di luar upaya sebelumnya,” kata Dr. Mesgarani.
Peningkatan kejelasan terutama terlihat ketika membandingkan rekaman baru dengan upaya berbasis spektogram sebelumnya. “Vokoder sensitif dan jaringan saraf yang kuat mewakili suara yang awalnya didengarkan pasien dengan akurasi yang mengejutkan.”
Selanjutnya, Mesgarani dan timnya berencana untuk menguji kata-kata dan kalimat yang lebih rumit dan mereka ingin menjalankan tes yang sama pada sinyal otak yang dipancarkan ketika seseorang berbicara atau membayangkan sedang berbicara.
Pada akhirnya, mereka berharap sistem mereka dapat menjadi bagian dari implan, mirip dengan yang dipakai oleh beberapa pasien epilepsi, yang menerjemahkan pikiran pemakai secara langsung ke dalam kata-kata.
“Dalam skenario ini, jika pemakainya berpikir ‘saya butuh segelas air,’ sistem kami dapat mengambil sinyal otak yang dihasilkan oleh pikiran itu, dan mengubahnya menjadi ucapan verbal yang disintesis,” kata Dr. Mesgarani. “Ini akan menjadi pengubah permainan. Ini akan memberi siapa pun yang kehilangan kemampuan untuk berbicara, apakah disebabkan karena cedera atau penyakit, kesempatan baru untuk terhubung dengan dunia di sekitar mereka.”
