“이스라엘이 전쟁에서 미국산 AI 모델을 사용함에 따라, 누구를 살리고 죽이는지의 결정에 개입하는 기술의 역할에 대한 우려가 제기되다”, 2025 년 2월 18일

...

각국의 군대는 수년 동안 민간 기업을 고용하여 맞춤형 자율 무기를 제작해 왔다. 그러나 이스라엘이 벌인 최근 전쟁은 미국에서 만든 상업용 AI 모델이 실제 전쟁에 사용된 대표적인 사례로, 이는 이러한 AI 모델이 누구를 살리고 죽여야 하는지의 결정을 돕는 목표로 개발되지 않았기에 우려를 사고 있다.

이스라엘 군은 AI를 사용하여 방대한 정보, 감청된 통신 및 감시 자료를 면밀히 조사해 의심스러운 말이나 행동을 찾아내고 적의 움직임을 학습한다. 2023년 10월 7일 벌어진 하마스 무장 세력의 치명적인 기습 공격 이후 마이크로소프트와 오픈AI의 기술 사용이 급증한 것으로 AP 통신의 조사 결과 밝혀졌다. 해당 조사는 또한 AI 시스템이 표적을 선택하는 방법과 그 오류가능성, 즉 잘못된 데이터나 결함이 있는 알고리즘을 사용했을 때의 문제점을 밝혀냈다. 해당 조사는 내부 문서, 데이터 및 전현직 이스라엘 관계자 및 회사 직원과의 독점 인터뷰를 바탕으로 이루어졌습니다.

“이는 상업용 AI 모델이 전쟁에 직접 사용되고 있다는 사실을 확인한 첫 사례입니다"라고 AI 나우 연구소(AI Now Institute)의 수석 AI 과학자이자 오픈AI의 전 수석 안전 엔지니어인 하이디 클라프(Heidy Khlaaf)는 말했다. “앞으로 이러한 유형의 비윤리적이고 불법적인 전쟁을 가능하게 할 기술의 역할에 대해 이는 중대한 시사점을 갖습니다.”

AI의 부상

미국의 거대 테크 기업들이 도널드 트럼프 대통령 정권에서 점점 더 중요한 역할을 맡게 되는 와중, AP통신의 조사 결과는 실리콘밸리가 자동화된 전쟁의 미래에서 차지할 역할에 대해 의문을 제기한다. 마이크로소프트는 이스라엘 군과의 파트너십을 확대할 예정이며, 이스라엘의 사례는 전 세계에서 이러한 신흥 기술의 사용 방향을 결정하는 데 중요한 역할을 할 수 있다.

AP통신이 회사 내부 정보를 검토한 결과, 지난 3월 이스라엘 군의 마이크로소프트 및 오픈AI 인공 지능 사용량이 10월 7일 공격 직전 주보다 200배 가까이 급증한 것으로 나타났다. 지난 3월부터 2024년 7월까지 마이크로소프트 서버에 저장된 데이터의 양은 두 배로 증가해 13.6페타바이트 이상에 다다랐는데, 이는 미국 의회 도서관의 모든 책을 저장하는 데 필요한 디지털 메모리의 약 350배에 달한다. 군의 마이크로소프트 거대 서버 사용량도 전쟁 초기 두 달 동안에만 거의 2/3이 증가했다.

...

... 관계자들은 AI가 역할을 수행하더라도, 항상 몇 단계의 인간 개입이 있다고 주장한다.

…

AP통신은 이스라엘 군에 미국 테크 회사의 상업용 AI 제품 사용에 대한 상세한 서면 질문을 발송했으나, 이스라엘 군은 답변을 거부했다.

마이크로소프트는 본 기사에 대한 논평을 거부했으며, 이스라엘 군에 제공된 클라우드 및 AI 서비스에 대한 상세한 서면 질문에 응답하지 않았다. 마이크로소프트는 웹사이트에 올린 성명에서 마이크로소프트가 “전 세계에서 기술의 긍정적인 역할을 옹호하기 위해 최선을 다하고 있다”고 밝혔다. 마이크로소프트가 발행한 40페이지 분량의 2024년 ‘책임 있는 AI 투명성 보고서(Responsible AI Transparency Report)’에서 마이크로소프트는 “피해의 위험을 줄이기 위해” 개발 전반에 걸쳐 AI의 위험을 관리하겠다고 약속했으나, 수익성 높은 군사 계약에 대해서는 언급하지 않았다.

문서와 데이터에 따르면, 챗GPT의 제조업체인 오픈AI는 마이크로소프트의 애저(Azure) 클라우드 플랫폼을 통해 고급 AI 모델을 제공하며, 이스라엘 군이 이를 구매한다. 마이크로소프트는 오픈AI의 최대 투자자이다. 오픈AI는 자사가 이스라엘 군과 파트너십을 맺고 있지 않으며, 사용 정책에 따라 고객이 오픈AI 제품을 무기 개발, 재산 파괴, 인명 피해에 사용해서는 안 된다고 명시하고 있다고 밝혔다. 그러나 약 1년 전, 오픈AI는 군사적 사용을 금지하던 사용 약관을 “[오픈AI의] 사명에 부합하는 국가 안보 사용 사례”를 허용하는 것으로 변경했다.

AI의 인적 피해

소식통에 따르면 AI 시스템은 인간 지능을 포함한 다른 많은 형태의 지능과 함께 사용되기 때문에, 언제 오류가 발생하는지 파악하기가 매우 어렵다. 하지만 여러 오류들이 합쳐지면 억울한 죽음으로 이어질 수 있다.

...

이스라엘의 한 정보 장교는 지난 3년 동안 모든 표적을 찾아내는 데에 AI가 사용되었다고 AP통신에 밝혔다. 피난을 가던 민간인 가족의 차량이 공습받아 일가족이 희생당한 사건[MOU1] 에서 AI는 거주지를 특정했을 것이며, 다른 정보 수집을 통해서 요원이 배치되었을 것이다. 어느 시점에 차량은 거주지를 떠났다.

작전 방에 있던 사람이 공격하기로 결정했을 것이다. 그는 오류는 언제든 일어났을 수 있다고 말했다. 잘못된 정보로 인해 거주지를 잘못 특정했을 수도, 잘못된 차량을 공격했을 수도 있다.

AP통신은 또한 해당 공습에 대해 알고 있는 두 번째 소식통으로부터 공습이 실수였다는 메시지를 받았지만, 이에 대한 부연 설명은 하지 않았다.

이스라엘 군 대변인은 공습 당시 AI 시스템이 사용되었다는 사실을 부인했지만, AI가 목표물 선정에 도움을 주었는지 혹은 또는 목표물 선정이 잘못되었는지 여부에 대해서는 답변을 거부했다. 이스라엘 군은 AP통신에 군 당국이 이번 사건을 조사했으며 “결과에 대해 슬픔을 느낀다”고 말했다.

[MOU1]이해를 돕기 위해 추가