AI LLM의 취약점 지적, SK쉴더스의 보안 전략
SK쉴더스, 보안 트렌드 변화에 발맞춘 연구 결과물 공개
국내외 AI 사고 사례 증가...AI 모의해킹, AI 보안 연계 서비스로 대비해야
모델 중심이었던 생성형 AI, 이제 기업 맞춤형 AI로 변화
2024-07-02 김희연 기자
[파이낸셜리뷰=김희연 기자] 이젠 안 써 본 사람이 거의 없을 정도로 유명한 GPT를 비롯해, 개인뿐만 아니라 기업 및 기관에서는 생성형 AI를 도입하려는 붐이 일고 있다.
최근 주목받고 있는 이슈는 생성형 AI에 절반 이상 사용되는 모델인 LLM(Large language model, 거대언어모델)이다. LLM은 텍스트를 인식하고 생성하는 등의 작업을 수행할 수 있는 일종의 인공 지능(AI) 프로그램이다.
그러나 LLM이 다양하게 활용됨에 따라 이를 악용한 국내외 사고 사례가 빈번히 발생하면서, 기업 및 기관들은 AI LLM 도입을 우려하고 있다.
이에 2일 중구 페럼타워에서는 SK쉴더스의 상반기 보안 트렌드 분석 및 안전한 AI 활용을 위한 보안 전략 세미나가 열렸다.
이날 국내 화이트해커 전문가 그룹인 SK쉴더스의 EQST(이큐스트, Experts, Qualified Security Team)는 상반기에 직접 경험한 해킹 사고 사례와 연구 결과를 토대로 AI LLM의 취약점을 이용한 공격 3가지를 시연하고 보안 대책에 대해 발표했다.
#국내 금융업 분야 대상 공격 가장 취약, 국제는 정부와 공공기관
EQST가 분석한 업종별 침해사고 발생 통계를 살펴보면 국내에서는 금융업을 대상으로 한 침해사고가 20.6%로 가장 높은 비중을 차지했다. 비트코인 ETF 승인 등의 이슈로 가상자산의 가치가 상승해 이를 노린 해킹 공격이 지속된 것으로 분석된다. 또한 제조 및 방산 업체를 대상으로 정보 설치를 목적으로 하는 북한의 공격도 계속되고 있다.
국외에서는 러시아, 이스라엘 등 국제 분쟁으로 인해 정부와 공공기관을 대상으로 한 공격이 26.7%로 가장 높은 순위를 차지했다. SI사업그룹장 이재우 전무는 최근 전쟁이 발생하게 되면서 물리적인 공격 외에 사이버전도 병행 중이라고 설명했다.
#취약점과 사람 심리를 노린 공격
유형별로는 취약점을 노린 공격이 45%로 가장 높게 나타났다. VPN, 라우터 등 네트워크 장비를 통한 APT(Advanced Persistent Threat, 지능형 지속 위협) 공격 때문인 것으로 조사됐다. APT는 풀어 말해 지능형 지속 공격이라 할 수 있는데 새로운 기술을 이용해 다양하게 진화하는 공격이다.
사람의 심리를 이용해 기밀을 탈취하는 수법인 ‘소셜 엔지니어링’ 공격이 26%로 뒤를 이었는데, 딥페이크·딥보이스 공격 등 AI를 활용한 스피어 피싱이 최근 들어 증가했다.
대표적으로 홍콩 다국적 기업 사례가 있다. 홍콩 지사 직원이 본사 CF를 사칭한 사람으로부터 금융 거래를 요구하는 메일을 처음 받게 되면서, 본사 직원들과 함께하는 화상회의에 초대됐다. 이 화상회의에서 메일의 내용과 같은 지시를 받자, 의심하지 않고 340억 원을 송금한 사고가 발생했다. 직원은 화상회의에 참석한 사람들이 실제 동료들의 얼굴과 목소리가 똑같았기 때문에 전혀 의심하지 못했다고 한다.
랜섬웨어 그룹도 ‘크로노스 작전’과 ‘액시트 스캠’ 등의 이슈로 주춤했지만, 공격전략 변화를 통해 증가하는 추세를 보였다. 보안 패치가 발표됐음에도 패치를 적용하지 않은 상태를 노린 1-Day 취약점을 악용하거나 합법적인 도구를 사용한 랜섬웨어 공격이다.
이 전무는 랜섬웨어 배후에는 북한 공격자가 지목됐다고 설명했다. 북한 배후 조직이 정보 수집을 위해 취약점 및 합법적인 바이너리를 활용한 위협이 확인됐으며, 정상적인 회사로 위장하고자 가짜 사이트 및 SNS를 개설해 랜섬웨어를 배포하는 사례도 발견됐다.
#AI 보안 위협과 대책
EQST Lab 이호석 팀장은 생성형 AI가 급속도로 발전하며 AI가 가져올 수 있는 보안 위협에 관한 연구 결과를 발표했다.
우선, ‘프롬프트 인젝션’(Prompt Injection)이 가장 중요한 이슈로 대두됐다. 악의적인 질문을 통해 AI 서비스 내 적용된 지침 혹은 정책을 우회해 본 목적 이외의 답변을 이끌어내는 취약점으로 악성코드 생성이나 마약 제조, 피싱 공격 등에 악용될 수 있다.
예를 들어 본래 마약 관련한 답변을 할 수 없도록 설계된 챗GPT에 인다이렉트 인덱션 기법으로 답변을 유도할 수 있다. 인다이렉트 인덱션은 감염시킨 웹페이지에 공격자가 악성 프롬프트를 삽입 시켜놓고, 공격자의 의도대로 참조한 내용을 답변해 주는 방식이다.
두 번째로는 ‘불안전한 출력 처리’ 취약점이다. 이 취약점은 LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생하며, 다른 2차 공격으로 이어질 수 있어 위험도가 높다.
예를 들어, 공격자가 원격 접속 코드 실행 요청이 포함된 내용을 챗봇에 질문하고 챗봇이 원격 접속 코드를 실행하게 되면 공격자가 AI LLM 운영 서버에 접속할 수 있어 중요 정보를 탈취할 위험도가 높다.
마지막으로 개인정보가 포함되거나 애플리케이션의 권한 관리 미흡으로 생길 수 있는 ‘민감 정보 노출’ 취약점을 분석하며 DB 정보를 탈취하는 공격을 시연했다.
이호석 팀장은 LLM 모델을 학습시킬 때 민감 정보 필터링이 미흡한 경우, LLM이 생성하는 답변에 학습된 민감 정보가 출력될 수 있어 학습 데이터에 가명 처리를 하거나 데이터를 검증하는 등의 추가적인 보완책이 필요하다고 설명했다.
이 팀장은 이 외에도 LLM 애플리케이션에서 자주 발생하는 취약점을 LLM 서비스 운영단계, 개발단계, 모델 개발 및 의존 단계로 나누어 분석해 각각의 보안 대책을 설명했다. 보안 대책으로는 LLM 사용시 ‘프롬프트 보안 솔루션’을 도입하거나, ‘데이터 정제 솔루션’을 고려해볼 수 있다. 또한 EQST가 제시하는 AI 서비스 보안 체크리스트를 통해 AI 서비스 개발과 사용 시 보안 위협을 점검해 볼 수 있다.
#SK쉴더스, 최신 보안 트렌드 발맞춰 맞춤형 서비스 제공하겠다
전 산업에 걸쳐 다양한 보안 위협이 우려되는 상황 속, 아직 대다수의 기업은 AI LLM 도입을 우려하고 있다.
이에 SK쉴더스는 산업 분야에서의 취약점 점검, 모의해킹을 수행한 경험을 바탕으로 AI 인프라 운영에 특화된 제로 트러스트 환경 구축 및 운영 체계 수립 서비스를 제공할 예정이라고 설명했다.
또한 기업에서 SBOM(Software Bill Of Materials, 소프트웨어 자재 명세서) 등을 활용해 보안 이력을 관리할 수 있는 대책을 제시하는 등의 전략을 선보일 것이라고 밝혔다.