폭발적으로 증가하는 생성형 AI 피싱에 대응하기 위한 효과적인 보안 조치
글/ 스티븐 키핑(Steven Keeping)
인공지능(AI)은 다양한 방식으로 영향력을 확대하고 있다. 과도한 기대와 떠들썩한 관심 속에서도, ChatGPT와 같은 대규모 언어 모델(LLM)은 생성형 AI(GenAI)의 잠재력을 조금씩 보여주기 시작했다. 그 잠재력은 매우 크다. 예를 들어, UC 샌디에이고는 AI가 만성 질환 관리, 자율주행 차량을 활용한 운송 및 배달, ‘대기 강수대’ 예측 정확도 향상, 생명을 구하는 긴급 상황의 자동화 대응 등 다양한 분야에서 활용될 것으로 전망하고 있다.(참고자료 1)
하지만 긍정적인 면과 함께 부정적인 측면도 반드시 따라온다. 악의적인 행위자들 또한 AI의 힘을 활용하고 있기 때문이다. 그 초기 사례 중 하나가 바로 생성형 AI(GenAI)를 활용한 피싱이다. 피싱 자체는 새로운 개념이 아니다. 이메일 초창기부터 존재해온 ‘나이지리아 왕자’의 거액 송금 사기처럼, 대부분의 피싱 메일은 맞춤법과 문법 오류가 가득하고, 지나치게 좋은 조건으로 의심을 사게 만들었다. 그러나 AI 기반 피싱은 이 과정을 완전히 바꾸어 놓는다. 더 정교하고 설득력 있는 콘텐츠를 빠르게 생성해, 기술에 밝은 사용자조차 속일 수 있는 수준으로 진화한 것이다.
사이버보안 기업 SlashNext의 2024년 중간 보고서에 따르면, 피싱 사기범들은 2022년 한 해에만 20억 달러 이상의 수익을 챙겼다. 특히 ChatGPT가 출시된 2022년 4분기 이후, 악성 피싱 이메일의 수는 무려 4,151%나 증가했다.(참고자료 2)
이 글에서는 해커들이 어떻게 GenAI를 이용해 더욱 그럴듯한 피싱 사기를 가속화하고 있는지를 살펴본다. 이러한 공격에 대응하기 위해서는, 사이버보안 전문가들이 사이버 범죄자들이 기술을 악용하는 방식을 정확히 이해하고, AI를 방어 수단으로 적극 활용해야 한다.
▲출처: Anat art/stock.adobe.com; AI로 생성
피싱(Phishing)이란?
피싱은 일반적으로 1990년대에 시작된 것으로 알려져 있다. 초기 피싱 기법은 해커들이 AOL(America Online) 직원으로 가장해 사용자로부터 로그인 정보나 개인 정보를 속여서 빼내는 방식이었다.(참고자료 3)
이제 해커들은 다크웹에서 입수한 이메일 목록을 기반으로 수천 건의 메시지를 전송한다. IT 서비스 기업 AAG에 따르면, 2025년 하루에 발송되는 스팸 이메일은 약 34억 건에 달한다.(참고자료 4) 대부분은 삭제되지만, 일부 사람들은 불안감이나 호기심으로 인해 속아 넘어가 악성 URL을 클릭하거나 바이러스가 포함된 파일을 다운로드하고, 인증 정보나 개인 데이터를 공유함으로써 사이버 범죄자에게 은행 계좌 접근 등의 기회를 제공하게 된다.
피싱은 수십 년간 지속되어 온 사이버 위협이지만, 철자나 문법 오류, 부자연스러운 서식, 잘못된 이름, 조악한 회사 로고, 이상한 회신 주소 등 눈에 띄는 특징들 덕분에 비교적 간단한 대응 방법으로 피해를 피할 수 있었다. 그러나 생성형 AI(GenAI)의 등장으로 이런 조짐들이 사라지고 있으며, 기존의 보안 모범 사례들이 도전을 받고 있다.
생성형 AI를 이용한 피싱
사이버 범죄자들은 생성형 AI(GenAI)의 딥러닝 모델을 활용해, 실시간 사용자 행동을 기반으로 고품질의 텍스트, 이미지, 콘텐츠를 빠르게 생성할 수 있다. GenAI가 피싱 공격의 기본 구조를 바꾸는 것은 아니다. 피싱은 본질적으로 확률 게임이다. 그러나 달라진 점은, 이전처럼 무작위로 수백만 건의 이메일을 보내는 대신, AI를 활용하면 훨씬 빠르고 간단하게 정교하고 표적화된 피싱 캠페인을 실행할 수 있다는 것이다. 이로 인해 탐지 회피도 쉬워졌다.
AI는 초기 스팸 공격이 안고 있던 많은 문제들을 해결했다. 예를 들어, 문법과 철자가 완벽하며, 기업 로고도 정밀하게 재현되고, 글의 문체는 설득력 있고 간결하게 작성된다.
공격은 타깃 사용자의 주의를 끌 수 있도록 정밀하게 시점을 맞출 수도 있다. 예를 들어, 대규모 언어 모델(LLM)은 콘텐츠 제작자, 소매업체, 뉴스 웹사이트 등으로부터 실시간 정보를 수집해 최신 정보를 피싱 이메일에 반영할 수 있다. 이러한 세부 정보는 메시지를 더욱 그럴듯하게 만들며, 수신자가 콜 투 액션에 반응하도록 유도한다.
AI는 해커들에게 새로운 수법을 시도할 수 있는 길도 열어준다. 이메일은 이제 잊어도 좋다. 신뢰하는 사람의 목소리를 GenAI로 복제해 가짜 음성 메시지를 만들면 어떨까? 예를 들어, CFO를 사칭한 음성 메시지가 도착했는데, 목소리가 실제 상사와 똑같고 송금을 요청한다면 어떻게 대응해야 할까?
사이버 범죄자들이 이런 일을 시작하는 데 필요한 도구를 구하는 것도 어렵지 않다. 예를 들어, 악명 높은 WormGPT는 OpenAI 기반인 ChatGPT의 프리 버전처럼 작동하는 무료 해커 도구이며, FraudGPT는 유료로 다크웹에서 판매되고 있다. 이들 모두 보안 장치가 없는 생성형 AI 도구로, 피싱 이메일 작성, 특정 웹사이트 위장 코드 생성, 음성 시뮬레이션 등을 위한 요청을 손쉽게 생성할 수 있도록 설계되어 있다.
생성형 AI 피싱의 위협에 맞서는 AI의 역할
그렇다면 이러한 위협에 어떻게 대응할 수 있을까? 한 가지 방법은 DMARC(Domain-based Message Authentication, Reporting, and Conformance) 보안 프로토콜을 기반으로 하는 기업용 이메일 보안 솔루션을 활용하는 것이다. 이 프로토콜은 DNS, SPF(Sender Policy Framework), DKIM(DomainKeys Identified Mail)을 이용해 이메일 발신자의 신원을 확인한다. DMARC는 특히 기업의 도메인을 사칭한 피싱 공격을 방지하는 데 효과적이며, 직원들이 민감한 기업 정보를 유출하도록 유도하는 수법에 대응할 수 있다. 다만, 이 방식은 이미 알려진 악성 발신자 목록에 의존해야 한다는 한계가 있다.
보다 효과적인 방법은 AI를 이용해 AI 기반 피싱을 탐지하는 것이다. AI 도구는 AI로 생성된 피싱 시도를 식별하는 데 매우 효과적인 것으로 입증되고 있다. 기존의 공격 사례를 분석하고 해커를 추적하는 방식이 아니라, 최신 보안 도구는 실제 업무 환경 데이터를 기반으로 스스로 학습한다. 예를 들어, 직원들이 이메일을 어떻게 열고 반응하며 링크를 클릭하거나 공유하는지 등 실시간 상호작용 데이터를 분석한다. 방어용 AI는 문장 톤, 감정, 콘텐츠 유형, 링크 사용 시점과 방식 등을 추적해, 무엇이 '정상' 커뮤니케이션인지를 파악하고, 이를 기준으로 공격으로 의심되는 비정상적 활동을 감지한다. 이를 통해 정황과 맥락을 유지하며 정밀하게 위협을 식별할 수 있다.
맺음말
악의적인 행위자들은 이미 생성형 AI의 힘을 적극적으로 활용하고 있다. 그 대표적인 초기 사례가 바로 피싱 공격을 고도화하는 것이다. 이제 피싱 이메일은 문법과 철자가 완벽하고, 기업 스타일에 어긋남이 없으며, 메시지도 설득력 있게 작성된다. 공격 시점 또한 표적 사용자의 관심을 끌 수 있도록 정밀하게 조율되며, LLM은 실시간 정보를 수집해 최신 내용을 이메일에 자연스럽게 반영할 수 있다.
이러한 정교한 피싱 공격에 대응하려면, 사이버보안 전문가들은 사이버 범죄자들이 기술을 어떻게 악용하는지를 정확히 이해하고, 이에 맞서기 위해 AI를 방어 수단으로 적극 활용해야 한다. 다행히도 최신 방어용 AI 도구는 사용자의 정상적인 행동 패턴과 맥락을 깊이 이해하고, 이를 바탕으로 미묘한 이상 징후까지도 감지해 피싱 시도를 효과적으로 식별할 수 있다.
참고자료
1. https://today.ucsd.edu/story/7-ai-powered-technologies-you-should-know-about
2. https://slashnext.com/press-release/slashnext-mid-year-state-of-phishing-report-shows-341-increase-in-bec-and-advanced-phishing-attacks/
3. https://www.phishfirewall.com/phishing-playbook-chapters/the-evolution-of-phishing-attacks
4. https://aag-it.com/the-latest-phishing-statistics/
저자 소개
스티븐 키핑(Steven Keeping)은 영국 브라이턴 대학교에서 전자공학 학사 학위를 취득한 후, Eurotherm과 BOC의 전자 부문에서 7년간 근무했다. 이후 그는 Electronic Production 잡지에 합류했으며, 이후 Trinity Mirror, CMP, RBI 등에서 What’s New in Electronics와 Australian Electronics Engineering을 포함한 전자 제조, 테스트, 설계 분야의 주요 매체에서 13년간 선임 편집자 및 출판 책임자로 활동했다. 2006년부터는 전자공학 분야 전문 프리랜서 저널리스트로 활동 중이며, 현재 시드니에 거주하고 있다.