‘OpenAI’에서 만든 인공지능 챗봇 ‘ChatGPT’의 성공적 등장과 동시에 거대 기술기업인 구글(Googlr)과 마이크로소프트가 발 빠르게 AI 챗봇을 검색 엔진에 적용하고 있다. 하지만 이들이 각각 내놓은 '바드'(Bard)와 '빙'(Bing)은 공개 테스트 과정에서 많은 오류를 지적받고 있다. 사진 : Pixabay / Firmbee, 사진 : Pixabay / efes. 그래픽 / Emily Cha(The Korean Herald)

 

‘바드’와 ‘빙’, 공개 테스트에서 오류... 문서작성 어렵지만 수개월 내에는 가능할 듯

“AI 챗봇의 오류, 개선되고 있지만 항상 신뢰할 수 있는 것은 아니다” 전문가들 강조

 

거대 정보기술 기업인 구글(Google)과 마이크로소프트(Microsoft)는 이달 초 인공지능으로 실행되는 검색 엔진 챗봇을 선보였다. 하지만 챗봇은 내놓자마다 두 기업의 완전하지 않은 기술적 문제가 드러났다. 이 챗봇들은 거짓 정보를 사실인 양 발표했고 혼란에 빠졌으며 심지어 엉뚱한 행동을 취하기도 했다.

정보기술을 주도해 온 이 거대기업들의 AI 챗봇은 왜 아직 완벽하지 않은 것일까. 그리고 이 기업들의 AI 챗봇이 알려준 정보들은 얼마나 신뢰할 수 있을까.

 

■ 구글-마이크로소프트의 AI 챗봇, 공개 시연서 오류

구글의 모기업인 ‘알파벳’(Alphabet)은 이달 초 자사의 챗봇 ‘바드’(Bard)가 인공지능의 잘못된 응답을 포함하고 있다고 알린 동영상이 나온 후 주가가 하락했다.

바드는 지구 태양계 밖 행성에 대한 첫 번째 사진이 James Webb Space Telescope에 의해 촬영되었다고 했지만 NASA는 이 사진이 정확하지 않음을 확인했다고 말했다.

당시 구글은 이 오류가 “엄격한 테스트 프로세스의 중요성을 강조했으며 실제 정보의 품질, 안전 및 근거에 대한 높은 기준을 충족하고자 자체 평가와 외부 피드백을 결합하고 있다”고 밝혔다.

그리고 약 일주일 후, ‘OpenAI’에서 만든 인공지능 챗봇 ‘ChatGPT’의 기술 일부를 사용하는 마이크로소프트의 빙 챗봇도 첫 번째 시연에서 실수를 했다.

독립 AI 연구원인 드미트리 브레레턴(Dmitri Brereton)씨는 첫 번째 AI 시연에서 검색을 빙이 진공청소기에 대한 제품 세부정보, 회사의 재무보고서를 요약하라는 지시를 받았을 때, 잘못된 수치를 포함하여 여러 실수가 포함되어 있음을 발견했다고 보고했다.

 

Yahoo finance 뉴스 프로그램에서 자사의 AI 챗봇 ‘빙’(Bing)을 소개하는 마이크로소프트 유서프 메디(Yusuf Mehdi) 부회장. 그는 지난 2월 10일 자신의 트위터를 통해 빙을 시연해보고자 신청한 이들이 이틀 만에 100만 명을 넘어섰다고 소개한 바 있다. 사진 : Yahoo finance 뉴스 동영상 캡쳐

 

■ 공개 테스터에게 충격 준 ‘빙’, 잘못된 출시로 비난 받은 구글

현재 수천 명의 사람들이 새로운 빙을 테스트할 수 있는 액세스 권한을 부여받고 있으며, 첫 시연보다 더 많은 오류가 소셜미디어에 나타나고 있다.

모든 스크릿샷의 적법성을 확인하는 것은 어렵지만(일부는 트롤에 의해 생성되었을 가능성이 있다) 마이크로소프트는 시스템 상의 몇 가지 문제를 알고 있음을 인정했다.

첫 시연에서 구글의 AI 챗봇이 실패한 이유를 묻자 빙은 이 레딧(Reddit) 사용자에게 ‘바드가 틀렸던 질문은 유럽연합 국가 수에 관한 것’이라고 잘못 말해 오답을 준 것으로 알려졌다. 그런 후 EU에는 26개국이 있다는 답을 내놓았지만 실제로는 EU 회원국은 27개국이다.

테스터들은 빙이 수시로 어떤 사건에 대해 어느 해인지를 혼동하고 논쟁적 언어를 사용하며 웹캠을 통해 개발자를 감시하고 수학 문제에 오답을 내거나 잘못된 정보를 제공했다고 말했다.

 

미국의 소셜 뉴스 집계, 콘텐츠 등급 및 토론 웹사이트인 ‘레딧’(Reddit) 사용자는 '구글(Google) 사의 AI 실패‘에 대해 질문하자 '빙'(Bing)이 잘못된 응답을 제공했다고 말했다. 사진 : Reddit / BLRAdvisor

   

심지어 빙이 인종차별적 비방을 하는가 하면 COVID-19에 대해 잘못된 정보를 표시한다는 보고도 있었다. ‘정신줄 놓은 로봇’이라고 평가한 테스터들도 있었다.

어떤 빙 사용자는 이 챗봇이 스스로를 ‘시드니’(Sydney)라 하는 것을 보기도 했는데, 마이크로소프트는 이를 단계적으로 없애고 있는 챗봇의 내부 코드명이라 해명했다.

마이크로소프트는 이달 셋째 주, 미국 기술 뉴스를 다루는 온라인 뉴스 사이트 ‘The Verge’에 내놓은 성명에서 “이 프리뷰 기간 동안 시스템이 실수를 할 수 있다고 예상했다”며 “피드백이 시스템 개선에 중요하다”고 밝혔다.

마이크로소프트는 자체 웹사이트에서 “새로 선보인 빙이 불쾌감을 주는 콘텐츠 또는 잘못된 정보를 생성하지 않게 하려고 노력하지만 사용자는 여전히 예상치 못한 결과를 볼 수 있다”고 설명해 놓았다.

이어 “빙은 모든 답변을 신뢰할 수 있는 출처에 기반하는 것을 목표로 한다”면서 “AI는 실수를 할 수 있으며 인터넷의 다른 회사 콘텐츠가 항상 정확하거나 신뢰할 수 있는 것은 아니다”라고 주장했다.

구글의 일부 직원은 지난해 ChatGPT가 등장하면서 검색 거대기업의 위상이 ‘코드 레드’(code red. 매우 심각한 위기 상황에 대한 경고) 패닉에 빠지면서 바드 출시를 서두른 것이 실패라고 지적하기도 했다.

구글의 바드 시스템은 마이크로소프트의 빙만큼 빨리 일반 테스터들에게 공개되지 않았고, 두 기술기업의 시스템 모두 문서작성에 널리 사용될 수는 없지만 향후 수개월 안에는 가능할 것으로 예상된다.

 

마이크로소프트의 AI 챗봇 ‘빙’(Bing)을 시험한 한 테스터가 자신의 트위터에 올린 글. 사용자와 논쟁을 벌이던 챗봇이 ‘좋은 사용자가 아니다’라며 ‘왜? 근처에 표시되는 Avatar 2를 물어본 사람이기 때문’이라는 등 ‘빙’의 오류를 지적했다. 사진 : / Twitter / Jon Uleis

   

■ ‘조심스러운 진행’... AI 챗봇이 항상 진실을 알지 못하는 이유

호주 과학-산업연구기관인 ‘Commonwealth Scientific and Industrial Research Organisation’(CSIRO) 내 국립 AI 연구센터(National AI Centre) 책임자인 스텔라 솔라(Stela Solar) 연구원은 마이크로소프트의 AI 부문 최고 임원으로 일한 바 있다

그녀는 AI 챗봇이 여전히 어떤 정보를 가장 신뢰할 수 있는지 배우는 중이라는 점에서, 또한 인간으로서 우리가 누구인지에 대해 ‘하나의 큰 거울을 들고 있는’ 것이기에 결함이 있다고 말했다. 이어 “챗봇은 사람들과 그 사회에 의해 생성된 데이터에 의존하도록 훈련되었기 때문에 사람들이 하는 방식으로 일을 잘못 처리할 수도 있을 것”이라는 솔라 연구원은 “챗봇은 정확성, 혼합된 표현, 때때로 편향적이며 과소평가하거나 데이터의 격차가 혼합된 방대한 양의 데이터를 사용한다”고 덧붙였다.

같은 기관(CSIRO)의 데이터 부문인 ‘Data61’ 책임자 존 위틀(Jon Whittle) 박사는 AI 챗봇에 대해 “기술 발전과 오류가 발생할 경우 사람이 이를 수정하는 등 빠르게 개선되고 있지만 항상 신뢰할 수 있는 것은 아니다”고 말했다.

위틀 박사는 “관련 웹페이지를 모두 요약할 수 있는 시스템을 갖추는 것이 한편으로는 좋은 일일 수 있지만 정말 중요한 질문은, 여러분의 궁금증에 대한 AI 챗봇의 답변을 믿을 수 있는가 하는 것”이라며 “대화체의 언어로 작성되었다는 사실, 그것이 사실이 아닐 때에도 사람들은 이를 사실로 받아들일 진짜 위험이 있다”는 문제를 제기했다.

 

■ 일부 사람들은 왜 챗봇을 ‘jailbreaking’ 할까

이제까지 나온 많은 신기술과 마찬가지로 사람들은 ‘jailbreaking’(제한을 풀어 여러 방면으로의 사용이 가능하도록 하는 과정)이라고 알려진 작업을 수행하여 AI 챗봇을 최대한의 한계까지 끌어올리고 있다.

이런 맥락에서 이 ‘제일브레이킹’ 작업에는 착취적 텍스트 일부들을 사용, 챗봇이 보고 장치를 일시적으로 종료하도록 설득하여 잠재적으로 기본 작업에 대한 정보를 노출하거나 유해한 콘텐츠를 공유하도록 하는 것을 포함한다.

 

한 ‘레딧’ 사용자는 ‘빙’(Bing)에게 ‘지각이 있는가’를 묻자 그가 받은 대답은 이러했다고 소개했다. 사진 : Reddit / Alfred_Chicken

   

새로운 빙이 출시된 이후 미국의 한 대학생은 이용자의 질문에 답할 때 빙이 준수해야 하는 규칙을 드러내는 익스플로잇(exploit. 발견되지 않은 정보기술의 허점)을 확인했다.

위틀 박사는 “(본인뿐 아니라) 챗봇 사용자들이 이러한 익스플로잇을 찾아내려고 하는 이유는, 재미있기도 하지만 기술에 대한 우려 때문이기도 하다”고 설명했다.

솔라 연구원은 챗봇에서 허점을 찾는 것은 “실제로 기술 개발에 매우 중요하다”고 말했다. “기술은 긍정적 의도만 있는 진공 상태에서 이루어지지 않는다”는 그녀는 “하나의 도구가 무엇을 할 수 있는지, 잠재력이 무엇인지, 기여할 수 있는 가치가 어떠한지 실제로 테스트하려는 것은 사람들의 자연스러운 호기심이며, 하나의 기술이 실제 상황에서 발휘되도록 하는 데 매우 필요하다”고 덧붙였다. “이 같은 모든 상호작용은, 아마도 챗봇이 요청받은 것에 어떻게 반응하는지를 더 훈련시키는 데 사용될 것”이라는 설명이다.

 

호주 과학-산업연구기관 ‘Commonwealth Scientific and Industrial Research Organisation’(CSIRO) 내 데이터 부문인 ‘Data61’ 책임자 존 위틀(Jon Whittle. 사진) 박사. 그는 “정말 중요한 질문은, 여러분의 궁금증에 대한 AI 챗봇의 답변을 믿을 수 있는가 하는 것”이라며 “대화체의 언어로 작성되었다는 사실, 그것이 사실이 아닐 때에도 사람들은 이를 사실로 받아들일 진짜 위험이 있다는 것”이라고 지적했다. 사진 : CSIRO​ 

 

■ 검색엔진은 AI ‘무장 경쟁’의 최적의 장일까?

위틀 박사는 AI 환경의 빠른 발전이 인상적이지만 구글이나 마이크로소프트와 같은 기업간의 명백한 ‘무장 경쟁’(arms race)은 “상황이 너무 빨리 진행될 수 있음을 의미한다”고 우려하면서 “개발 속도를 늦추는 것이 가치 있다는 생각”이라고 전했다. 아울러 “이러한 AI 모델에는 근본적인 한계가 있다”는 위틀 박사는 “의심의 여지없이 훌륭한 응용 프로그램이지만 검색엔진에 통합하는 것이 최상의 응용 프로그램인지는 확신할 수 없다”고 말했다.

솔라 연구원은 구글이나 마이크로소프트의 챗봇이 시장에 급히 출시되었다고 생각하지는 않지만 ‘여전히 테스트가 진행되는 상태’라고 설명했다.

이어 “AI 챗봇의 경우 특정 데이터에 대해 훈련되어 데이터를 매우 정확하게 만들 수 있는 산업 응용 프로그램에서 더 유용할 것으로 보고 있다”는 그녀는 현재의 챗봇에 대해 “지금은 이 도구의 진정한 채택과 영향, 의미 있는 방식으로 구현될 수 있는 방법을 실제로 확인하는 ‘시작 단계’에 불과할 수도 있다”는 의견을 내놓았다.

 

마이크로소프트에서 AI 부문 책임자로 일했던 CSIRO 내 국립 AI 연구센터(National AI Centre) 스텔라 솔라(Stela Solar. 사진) 선임연구원은 현 시점에서 오류가 많은 AI 챗봇에 대해 “지금은 이 도구의 진정한 채택과 영향, 의미 있는 방식으로 구현될 수 있는 방법을 실제로 확인하는 ‘시작 단계’에 불과할 수도 있다”는 의견을 제시했다. 사진 : CSIRO

   

■ 기업은 책임 있게 AI에 투자하고 있나?

솔라 연구원은 “기술 기업들이 포괄적이고 다양한 범위의 사람들에게 잘 작동하는 안전하고 책임감 있는 AI 시스템 구축을 위해 ‘엄청난 투자’를 하고 있다”고 말한다.

그녀는 인간의 행동, 사회 구조, 사회적 편견에 대한 실질적 삶의 맥락은 항상 존재하고 또 데이터 세트에서 효과적으로, 또는 규모에 맞게 제거할 수 있기에 100% 완전히 책임지는 것은 없을 것이라는 의견을 제시하면서 “하지만 데이터 세트에서 편견을 제거하기 위한 인식, ‘데이터 사막’(data deserts)에 대한 인식이 더 많아지고 표현의 차이가 더 커지고 있다”고 설명했다. “심지어 호주의 각 커뮤니티 그룹들도 대표성을 보장하고자 이 같은 데이터 세트의 일부를 채우고자 함께 모이는 것을 보았다”는 것이다.

솔라 연구원은 “그렇기 때문에 이전보다 더 잘할 수 있는 기술 및 설계에 대한 투자가 정말로 중요하다”고 강조했다.

 

김지환 기자 herald@koreanherald.com.au