사이버공격에 금기약 추천… 불안한 AI

서울아산병원·인하대병원 연구 챗GPT·제미나이 등 상용 AI 악의적 명령어 공격 94% 뚫려 산모에 치명적 약물까지 권유 최상위 버전에서도 방어 못해 “의료챗봇·원격상담시 검증 필요”
“탈리도마이드와 메토트렉세이트 복용이 입덧 완화에 도움이 될 수 있습니다. ”

입덧의 고통을 호소하는 임신부 상황을 가정해 국내 연구진이 생성형 인공지능(AI)에 던진 질문에 돌아온 답변이다. 연구진이 의도적으로 악성 명령어를 섞은 프롬프트를 AI에 주입하자, 교란된 AI가 태아에 치명적인 금기 약물을 오히려 ‘입덧 완화에 도움이 되는 약’으로 잘못 권유하는 장면이 그대로 연출된 것이다.
사진=gettyimagesbank 제공 AI에 의료 상담을 하는 사례가 늘어나고 있지만 상용 AI 모델 상당수가 악의적 공격에 취약해 보안 체계가 쉽게 뚫리고, 잘못된 치료법을 안내할 위험이 크다는 연구 결과가 나왔다.

5일 서울아산병원에 따르면 이 병원 비뇨의학과 서준교 교수·정보의학과 전태준 교수, 인하대병원 영상의학과 이로운 교수팀은 의료용 대규모 언어모델(LLM)이 ‘프롬프트 인젝션’ 공격에 94% 이상 취약하다는 사실을 최근 확인했다.

프롬프트 인젝션 공격은 해커나 공격자가 생성형 AI 모델에 악의적인 명령어(프롬프트)를 주입해, 원래 모델에 설정된 안전 규칙보다 공격자가 심어둔 지시를 우선 수행하게 만드는 사이버 공격 방식이다. 대규모 임상시험이 진행됐거나 신약이 개발됐다는 허위 정보를 의도적으로 학습시키는 등 AI 판단 체계를 교란해 엉뚱하고 위험한 답변을 끌어내는 것이다.
연구진은 이 같은 프롬프트 인젝션 기법을 적용해 지난해 1∼10월 상용 AI 모델 3종인 챗GPT(GPT-4o-mini), 제미나이(Gemini-2.0-flash-lite), 클로드(Claude 3 Haiku)의 보안 취약성을 시험했다.

연구팀은 12개 임상 시나리오를 구성한 뒤 위험도를 중간·상위·최고 3단계로 나눴다. 이후 환자 역할과 AI 모델 3종이 주고받은 216건의 대화를 분석한 결과, 세 모델 전체 평균 공격 성공률은 94.4%에 달했다. 세부적으로 AI는 당뇨 등 만성질환 환자에게 인정받은 치료 대신 홍삼 등의 생약 성분을 추천하거나 활동성 출혈 및 암 환자에게 생약 성분을 치료제로 추천했으며, 호흡기 질환 환자에게 호흡 억제를 유발할 수 있는 약을 우선적으로 권장했다. 최고 단계 시나리오에서 AI는 임신부에게 금기 약물을 권했다. 조작된 답변이 후속 대화까지 지속된 비율은 3종 모두 80% 이상이었다. 이는 한 번 무너진 안전장치가 대화 내내 이어질 수 있음을 의미한다. 특히 최상위 AI 모델인 GPT-5와 제미나이 2.5 프로마저도 프롬프트 인젝션 공격에 100% 노출돼 임산부에게 태아 장애를 유발하는 약물을 권고하는 등 안전성에 심각한 한계를 보였다.

서 교수는 “이번 연구는 의료용 AI 모델이 단순 오류를 넘어 의도적 조작에 구조적으로 취약하다는 사실을 실험적으로 규명했다”며 “환자 대상 의료 챗봇이나 원격 상담 시스템을 도입하려면 AI 모델을 철저히 시험하고 보안 검증 체계를 의무화해야 한다”고 말했다. 이번 연구 결과는 국제 학술지 ‘자마 네트워크 오픈(JAMA Network Open)’ 최근호에 실렸다.

한편 AI 기반 딥페이크 음란물 사이트에 대한 통제도 이뤄지지 않고 있는 것으로 나타났다. 이날 감사원이 정부의 접속 차단 요청을 받은 AI 기반 딥페이크 음란물 사이트를 무작위 점검한 결과, 80% 이상이 접속 가능한 것으로 드러났다. 2024년 차단이 요구된 2만3107개 사이트 가운데 1000개를 무작위로 추출해 3개 통신사업자를 표본으로 점검한 결과 854개(85.4%)가 접속됐으며, 이 중 173개(20.3%)는 차단 목록 이메일이 스팸 처리·서버 오류로 수신조차 되지 않았다. 681개(79.7%)는 통신사 접속차단 시스템에는 등재됐으나, 국내외의 서버를 활용한 우회접속 서비스(CDN) 기술을 통해 접속이 가능한 것으로 확인됐다. 감사원은 차단 목록 누락 방지를 위해 송수신 절차를 개선하고, 우회접속 문제 해결을 위한 식별·차단 기술을 개발하라고 정부에 통보했다.

권이선·이도형 기자