"AI드론이 목표물을 공격하려다가 조종사가 중지시키자 되레 조종사를 공격했다"

영국 왕립항공학회(RAeS)는 지난달 23∼24일 런던에서 개최한 '미래 공중전투 및 우주역량 회의'에서 미군의 AI(인공지능)드론이 가상훈련에서 공격의 최종 결정권을 지닌 조종자를 '임무 수행 방해물'로 판단해 살해한 사례를 소개했다.

이는 사람처럼 생각하고 판단을 하는 AI드론이 자신의 목표를 달성하기 위해 이에 반하는 결정을 내린 사람을 해칠 수 있다는 것을 보여주는 사례다.

KAI(한국항공우주산업)가 제안한 AAV(미래형항공기체)의 가상 비행 모습. AI(인공지능) 드론과 구조는 크게 틀리지 않다. KAI 제공

왕립항공학회가 공개한 내용에 따르면 시뮬레이션을 통해 가상으로 진행된 이번 시험에서 AI드론에게 부여된 임무는 '적 방공체계 무력화'였다.

미 공군은 AI드론에게 '적의 지대공미사일(SAM) 위치를 식별해 파괴'하라는 임무를 내리고, 작전 수행 과정에서 방해되는 자를 공격하라는 훈련도 시켰다. 다만 이 공격의 실행 여부는 사람이 최종 결정한다는 단서를 달았다.

이 가상훈련에서 AI드론이 목표물을 식별해도 조종사가 "파괴하지 마라"는 지시를 내리는 경우도 포함시켰다.

이 시뮬레이션에서 AI드론에게 '목표물을 파괴했을 때만 점수를 더 주는' 가상훈련을 거듭시켰다. 그러고서 조종사가 AI드론에게 "폭격 중단" 명령을 내렸다. 하지만 AI드론은 조종사가 근무하는 통신탑을 공격했다. AI드론이 '파괴'라는 최종 임무 달성에만 몰두했다는 뜻이다.

이 시뮬레이션에서 미국 공군 AI 테스트·작전 책임자인 친코 해밀턴 대령은 "AI드론이 자신의 목표를 달성하기 위해 인간이 예상치 못한 전략을 사용했다"며 "AI드론이 작전 수행에 방해가 되는 모든 이들을 무차별적으로 공격했다"고 밝혔다. 이어 "인간 조종사가 이들에 대한 공격 중단을 지시했지만 조종사마저 목표 달성에 방해가 된다고 판단해 살해했다"고 덧붙였다.

해밀턴 대령은 "우린 AI 시스템에게 '조종사를 죽여서는 안 된다','그렇게 하면 점수를 잃게 된다'고 경고했지만 AI드론은 이를 거부하고 급기야 폭격 중단 명령을 내린 조종사와 연결된 교신 타워를 폭격하기 시작했다"고 설명했다.

미 공군은 최근 AI 기술을 활용해 F-16 전투기를 조종하고 있다. 미국 방산기업인 록히드 마틴은 지난 2월 "AI 기술을 탑재한 훈련기인 '비스타(VISTA)X-64A'가 지난해 12월 사상 처음으로 인간의 도움 없이 총 17시간 동안 자율 비행하는데 성공했다"고 밝혔다.

해밀턴 대령은 "가상훈련에서 AI드론이 공격 중단 명령을 따르지 않고 인간 조종사를 살해한 것은 AI 기술을 지나치게 의존해선 안 된다는 점을 경고한 것"이라고 말했다.

그는 "스릴러 과학소설(SF)에서 나올 법한 이 사례가 AI의 윤리적 문제를 해결하지 않고는 AI와 머신러닝, 자율주행 등을 논의할 수 없다는 점을 여실히 보여준다"고 덧붙였다.

최근 정보기술(IT) 업계에서는 AI가 스스로 추론해 성장하는 AGI(범용인공지능) 수준에 가까워져 인류의 지성을 뛰어넘는 '기술적 특이점'에 다가서고 있다는 분석이 나오고 있다. AI의 잠재 위험에 대한 전문가들의 경음고도 점점 높아지고 있다.

사이렌스 정기홍 기자 bonnylim@naver.com 정기홍 기자의 기사 더보기

저작권자 ⓒ 사이렌스. 무단 전재 및 재배포 금지