Neuroscientists decode brain speech signals into written text

Guardian지에 실린 기사

https://www.theguardian.com/science/2019/jul/30/neuroscientists-decode-brain-speech-signals-into-actual-sentences

Neuroscientists decode brain speech signals into written text

Doctors have turned the brain signals for speech into written sentences in a research project that aims to transform how patients with severe disabilities communicate in the future.

심각한 장애를 지닌 환자의 의사소통 방식을 탈바꿈시킨다는 목표로 진행된 연구에서 언어화 뇌 신호를 글로 변환하는 데 성공했다.

 

The breakthrough is the first to demonstrate how the intention to say specific words can be extracted from brain activity and converted into text rapidly enough to keep pace with natural conversation.

이 성과가 획기적인 까닭은 특정 낱말을 말하려는 의도를 뇌 활동에서 분리하여 자연스러운 대화가 가능할 만큼 빠르게 글자로 변환할 수 있다는 것을 처음으로 보여주었기 때문이다.

 

In its current form, the brain-reading software works only for certain sentences it has been trained on, but scientists believe it is a stepping stone towards a more powerful system that can decode in real time the words a person intends to say.

물론 현재 수준으로는 뇌 신호 해독 소프트웨어에 입력한 문장만 변환할 수 있다. 그러나 과학자들은 이번 성과를 발판으로 사람이 얘기하려는 말을 실시간으로 해독할 수 있는 더 향상된 장비가 앞으로 만들어지리라고 보았다.

 

Doctors at the University of California in San Francisco took on the challenge in the hope of creating a product that allows paralysed people to communicate more fluidly than using existing devices that pick up eye movements and muscle twitches to control a virtual keyboard.

캘리포니아 대학 샌프란시스코 캠퍼스(the University of California in San Francisco)의 연구진은 눈과 근육의 움직임을 식별하여 가상적 키보드에 입력할 수 있는 기존 장비가 있었지만 이보다 더 자연스럽게 마비 환자가 의사소통할 수 있는 기계를 만들고자 이 도전적 연구를 시작하였다.

 

“To date there is no speech prosthetic system that allows users to have interactions on the rapid timescale of a human conversation,” said Edward Chang, a neurosurgeon and lead researcher on the study published in the journal Nature.

연구 책임자이자 신경외과 의사인 에드워드 창(Edward Chang)은 네이처 지<Nature>에 연구 결과를 발표하면서 이렇게 얘기했다. “지금까지 개발된 음성 보조 장비(speech prosthetic system)로는 사람의 대화 속도만큼 빠르게 변환할 수 없습니다.”

 

The work, funded by Facebook, was possible thanks to three epilepsy patients who were about to have neurosurgery for their condition. Before their operations went ahead, all three had a small patch of tiny electrodes placed directly on the brain for at least a week to map the origins of their seizures.

이번 연구는 페이스북에서 자금지원을 받았으며 신경외과 수술을 받을 예정이었던 간질 환자 세 명의 도움으로 이뤄졌다. 수술받기 전에 환자들은 발작이 어디에서 일어나는지 파악하기 위해 아주 작은 전극이 달린 조그만 부착물을 뇌에 직접 연결하였다.

 

During their stay in hospital, the patients, all of whom could speak normally, agreed to take part in Chang’s research. He used the electrodes to record brain activity while each patient was asked nine set questions and asked to read a list of 24 potential responses.

병원에 머무는 동안 정상적으로 말할 수 있었던 이들은 에드워드 창의 연구에 참여하겠다고 동의했다. 연구진은 환자들에게 질문 9개를 들려주고 가능한 답변 24개를 읽도록 하면서 전극을 이용해 뇌의 활동을 기록했다.

 

With the recordings in hand, Chang and his team built computer models that learned to match particular patterns of brain activity to the questions the patients heard and the answers they spoke. Once trained, the software could identify almost instantly, and from brain signals alone, what question a patient heard and what response they gave, with an accuracy of 76% and 61% respectively.

연구진은 기록된 결과를 활용하여 환자들이 질문을 듣고 대답할 때 이에 상응하여 뇌에서 일어나는 특정한 방식을 학습한 컴퓨터 모형을 만들었다. 이렇게 학습된 컴퓨터는 뇌 신호만으로 거의 동시에 환자가 어떤 질문을 들었는지와 어떤 대답을 했는지를 각각 76%와 61% 정확성으로 알아냈다.

 

“This is the first time this approach has been used to identify spoken words and phrases,” said David Moses, a researcher on the team. “It’s important to keep in mind that we achieved this using a very limited vocabulary, but in future studies we hope to increase the flexibility as well as the accuracy of what we can translate.”

연구에 참여한 데이비드 모세스(David Moses)는 이렇게 말했다. “낱말과 문장 단위의 말을 식별하는데 처음으로 이런 방법을 사용했습니다. 매우 제한된 어휘만으로 얻은 결과라는 데 주의해야 하지만 향후 연구에서 변환을 더 자유자재로 그리고 정확하게 할 수 있게 되기를 바랍니다.”

 

Though rudimentary, the system allowed patients to answer questions about the music they liked; how well they were feeling; whether their room was too hot or cold, or too bright or dark; and when they would like to be checked on again.

기초 수준이긴 하지만, 이 컴퓨터 모형에 따라 환자들은 어떤 음악을 좋아하는지, 지금 기분이 어떤지, 방이 너무 덥거나 추운지, 밝거나 어두운지, 언제 다시 진찰받고 싶은지와 같은 질문에 답할 수 있었다.

 

Despite the breakthrough, there are hurdles ahead. One challenge is to improve the software so it can translate brain signals into more varied speech on the fly. This will require algorithms trained on a huge amount of spoken language and corresponding brain signal data, which may vary from patient to patient.

이 성과가 획기적이지만 아직 넘어야 할 산이 많다. 그 가운데 하나는 뇌 신호를 여러 상황에서 더 다양하게 달라지는 말로 변환할 수 있는 소프트웨어를 개발해야 하는 과제다. 이 과제를 해결하려면 엄청난 양의 실제 대화 자료로 학습한 알고리즘과 이에 상응하는 뇌 신호 자료가 있어야 하며, 뇌 신호 자료는 환자마다 다를 수 있다.

 

Another goal is to read “imagined speech”, or sentences spoken in the mind. At the moment, the system detects brain signals that are sent to move the lips, tongue, jaw and larynx – in other words, the machinery of speech. But for some patients with injuries or neurodegenerative disease, these signals may not suffice, and more sophisticated ways of reading sentences in the brain will be needed.

‘생각한 말’, 즉 마음속으로 떠올린 문장을 읽어내야 하는 것도 또 다른 과제다. 현재 기술로는 입술, 혀, 턱, 후두, 즉 말을 할 때 쓰는 기관에 보내지는 뇌 신호만 감지할 수 있다. 사고를 당했거나 신경퇴행성질환을 앓는 환자들에게는 이러한 신호만으로 충분하지 않을 수 있으며 뇌에서 일어나는 문장을 더 정교한 방식으로 읽을 수 있어야 할 것이다.

 

While the work is still in its infancy, Winston Chiong, a neuroethicist at UCSF who was not involved in the latest study, said it was important to debate the ethical issues such systems might raise in the future. For example, could a “speech neuroprosthesis” unintentionally reveal people’s most private thoughts?

이번 연구에는 참여하지 않은 캘리포니아 대학교 샌프란시스코 캠퍼스의 윈스턴 치옹(Winston Chion) 신경윤리학자는 아직 연구가 초기 단계이지만 훗날 제기될 윤리 문제를 반드시 논의해야 한다고 말했다. 이를테면 ‘‘음성 보조 신경기구’가 사람들의 가장 비밀스러운 생각을 의도치 않게 드러낼 수 있지 않을까?’라는 물음을 생각해 볼 수 있다.

 

Chang said that decoding what someone was openly trying to say was hard enough, and that extracting their inner thoughts was virtually impossible. “I have no interest in developing a technology to find out what people are thinking, even if it were possible,” he said.

이에 대해 에드워드 창 박사는 지금으로써는 사람이 의도적으로 말하려는 것도 해독하기 어려우므로 마음속 생각을 분리해 내기는 거의 불가능하다고 말했다. “사람들 생각을 알아내는 기술이 가능하다고 하더라도 그런 기술을 개발하는 데 관심은 없습니다.”

 

“But if someone wants to communicate and can’t, I think we have a responsibility as scientists and clinicians to restore that most fundamental human ability.”

“하지만 의사소통하고 싶지만 할 수 없는 사람이 있다면, 저는 과학자와 의사들이 그러한 가장 기본적인 인간 능력을 회복시켜야 할 책임이 있다고 생각합니다.”