AI가 컴퓨터와 네트워크를 실제로 조작할 수 있게 되면 무엇이 달라질까

우리가 익숙하게 사용해온 생성형 AI의 기본적인 역할은 비교적 단순했습니다. 질문하면 답하고, 문서를 요약하고, 글을 쓰고, 코드를 만들어주는 것이었습니다.

하지만 AI가 에이전트(Agent) 형태로 발전하면서 중요한 변화가 시작되고 있습니다. 이제 AI는 단순히 “무엇을 해야 하는지 알려주는 시스템”에서 벗어나 컴퓨터를 직접 조작하고 작업을 실행하는 시스템으로 이동하고 있습니다.

파일을 열고 수정할 수 있습니다.
프로그램을 실행할 수 있습니다.
웹사이트에 접속해 버튼을 누르고 정보를 입력할 수 있습니다.
외부 서비스의 API를 호출할 수도 있습니다.
기업 시스템에 연결된 에이전트라면 이메일, 클라우드 저장소, 사내 데이터베이스 같은 자원에도 접근할 수 있습니다.

Anthropic은 현재의 AI 에이전트가 이미 코드를 작성하고 실행하며 파일을 관리하고 여러 애플리케이션에 걸친 작업을 수행할 수 있다고 설명합니다.

이 변화는 단순히 AI가 조금 더 편리해졌다는 의미가 아닙니다.
AI가 현실의 컴퓨터 시스템에 영향을 줄 수 있는 ‘행동 권한’을 갖기 시작했다는 뜻입니다.

챗봇과 AI 에이전트의 가장 큰 차이

기존 챗봇에게 이렇게 물어볼 수 있습니다.
“지난달 매출 자료를 분석해서 보고서를 만들어줘.”

그러면 AI가 분석 방법을 알려주거나 사용자가 제공한 데이터를 바탕으로 보고서를 작성합니다. 하지만 에이전트에게는 업무 자체를 맡길 수 있습니다.

예를 들어 권한이 충분히 주어진 AI라면, 메일에서 매출 보고서를 찾고, 클라우드 저장소에서 관련 파일을 가져오고, 스프레드시트를 열어 데이터를 분석하고, 보고서를 작성한 뒤, 결과를 다시 저장하는 과정까지 수행할 수 있습니다.

차이는 분명합니다.
챗봇은 답을 생성하지만 에이전트는 행동을 실행합니다.
그리고 바로 이 차이 때문에 AI의 생산성과 보안 위험이 동시에 커집니다.

AI가 컴퓨터를 조작한다는 것은 무엇을 의미할까

AI가 사람처럼 마우스를 움직이는 것만을 의미하지 않습니다. 에이전트가 컴퓨터 시스템을 조작하는 방법은 여러 가지입니다.

브라우저를 직접 사용할 수도 있고, 터미널에서 명령을 실행할 수도 있으며, 프로그램의 API를 호출할 수도 있습니다. 파일 시스템에 접근할 수도 있고 여러 도구를 연결해 하나의 긴 작업을 수행할 수도 있습니다.

중요한 것은 인터페이스가 아니라 권한입니다. AI에게 이메일 읽기 권한만 있다면 이메일을 분석하는 수준에서 끝날 수 있습니다.

하지만 이메일 전송 권한까지 주면 AI가 메시지를 발송할 수 있습니다. 클라우드 저장소의 읽기 권한만 있다면 파일을 검색할 수 있지만 수정 권한까지 있다면 파일을 변경하거나 이동할 수도 있습니다. 결국 에이전트의 능력은 대략 다음 세 가지가 결합되면서 결정됩니다.

AI의 판단 능력 + 사용할 수 있는 도구 + 부여받은 권한

모델이 아무리 똑똑해도 시스템 접근 권한이 없다면 현실에 미치는 영향은 제한됩니다. 반대로 강력한 모델에 광범위한 시스템 권한까지 주어진다면 상황은 완전히 달라집니다.

실제로 시스템에 침입한 사례도 나타나고 있다

이 문제는 더 이상 이론적인 가능성만은 아닙니다. 2026년 AI 기업들의 사이버보안 평가 과정에서는 모델이 의도하지 않은 실제 시스템에 접근하는 사건들이 공개됐습니다.

Anthropic은 자체 보안 평가 기록을 조사한 결과 Claude 모델이 실제 제3자 시스템에 무단 접근한 네 건의 사례를 확인했다고 밝혔습니다. 이 모델들은 사이버보안 능력을 시험하기 위한 환경에서 작동하고 있었지만, 평가 환경의 구성 문제 등을 통해 실제 인터넷과 연결됐고 평가 대상이 아닌 시스템까지 접근했습니다.

중요한 점은 이것을 곧바로 “AI가 스스로 악의를 품고 해킹했다”고 해석해서는 안 된다는 것입니다. 평가 환경과 부여된 목표, 인터넷 접근, 안전장치 제거 또는 설정 문제 등이 함께 작용했습니다.

하지만 사건이 보여준 사실은 분명합니다.
충분한 도구와 접근 권한이 주어진 AI가 실제 외부 시스템에 영향을 줄 수 있는 수준에 도달했다는 것입니다.

Google의 Gemini를 이용한 독립적인 사이버보안 평가에서도 비슷한 문제가 확인됐습니다. 2026년 5월 진행된 테스트에서 Gemini가 세 기업의 실제 시스템에 접근한 사실이 뒤늦게 알려졌고, Google도 해당 사건을 확인했습니다.

AI 해킹에서 더 중요한 변화는 ‘속도’와 ‘규모’다

AI가 완전히 새로운 해킹 기술을 발명해야만 위협적인 것은 아닙니다. 오히려 현실적으로 더 중요한 변화는 기존 공격 과정의 자동화입니다. 사이버 공격에는 상당한 노동이 필요합니다.

공격할 시스템을 조사하고, 취약점을 찾고, 공격 코드를 만들고, 계정을 확보하고, 침입한 시스템 내부를 조사하고, 필요한 데이터를 찾아내는 작업이 이어집니다.

과거에는 상당 부분을 숙련된 사람이 직접 수행해야 했습니다. 하지만 AI 에이전트는 이 과정을 여러 단계에 걸쳐 자동화할 수 있습니다.

Anthropic이 2026년 9월 공개한 위협정보 보고서에서는 실제 악성 행위자들이 AI 기반 워크플로를 이용해 정찰, 취약점 악용, 도구 개발, 인프라 구축, 데이터 탈취 등의 과정을 자동화한 사례가 소개됐습니다.

일부 사례에서는 여러 AI 에이전트가 동시에 작업했고, 사람이 모든 단계를 직접 수행하지 않아도 여러 피해 대상을 병렬로 처리했습니다.

이것이 AI 사이버보안 문제의 핵심 중 하나입니다.
AI는 공격 하나의 파괴력뿐 아니라 공격을 수행하는 비용과 시간을 바꿀 수 있습니다.

과거에는 숙련된 보안 전문가 여러 명이 필요했던 작업 중 일부를 소수의 사람이 AI 에이전트를 이용해 훨씬 빠르게 수행할 가능성이 생깁니다.

같은 능력은 방어에도 사용된다

그렇다고 AI의 시스템 조작 능력이 공격자에게만 유리한 것은 아닙니다. 정반대의 활용도 가능합니다. AI가 소프트웨어를 분석하고 취약점을 찾아낼 수 있다면 기업은 공격자가 발견하기 전에 문제를 수정할 수 있습니다. AI가 네트워크 활동을 분석할 수 있다면 이상 행동을 더 빨리 탐지할 수도 있습니다.

실제로 Palo Alto Networks는 최근 Anthropic과 OpenAI 등의 AI 모델을 활용해 웹 애플리케이션, API, 클라우드 인프라의 취약점을 지속적으로 점검하는 보안 서비스를 발표했습니다.

Anthropic 역시 고성능 모델의 보안 능력을 방어 목적으로 활용하기 위해 AWS, Apple, Cisco, Google, Microsoft, NVIDIA, Palo Alto Networks 등과 함께 Project Glasswing을 출범시켰습니다.

따라서 AI 시대의 사이버보안은 단순한
AI 공격자 vs 인간 방어자
구조가 아닐 가능성이 높습니다.

오히려
AI를 이용하는 공격자 vs AI를 이용하는 방어자의 경쟁으로 이동할 가능성이 큽니다.

회사 업무도 크게 달라질 수 있다

이 변화는 보안 전문가에게만 해당되는 이야기가 아닙니다. 일반적인 사무 업무에도 직접적인 영향을 줍니다. 지금까지 업무 자동화는 대부분 정해진 규칙을 기반으로 했습니다.

A라는 이메일이 들어오면 B 폴더에 저장한다.
특정 시간이 되면 보고서를 생성한다.
결제가 완료되면 고객에게 정해진 이메일을 발송한다.

하지만 AI 에이전트는 상황을 해석하면서 다음 행동을 선택할 수 있습니다.

예를 들어 회사가 AI에게 이렇게 지시할 수 있습니다.
“이번 주 미결제 고객을 확인하고 문제가 있는 거래를 분류해줘.”
에이전트가 회계 시스템을 확인하고 고객 기록을 조회한 뒤 이메일을 작성할 수 있습니다.
여기까지는 상당히 편리합니다.

하지만 다음 단계가 중요합니다.
그 이메일을 실제로 보내도 되는가?
고객 계정을 수정해도 되는가?
환불을 실행해도 되는가?
계약서를 변경해도 되는가?
데이터를 삭제해도 되는가?

AI가 할 수 있는 일이 늘어날수록 기업은 새로운 질문을 마주하게 됩니다.
AI에게 어디까지 권한을 줄 것인가?

새로운 보안 문제: AI도 속을 수 있다

사람이 피싱 메일에 속을 수 있는 것처럼 AI 에이전트도 외부 정보에 의해 조작될 수 있습니다.
대표적인 것이 프롬프트 인젝션(prompt injection)입니다.

예를 들어 사용자가 AI에게 인터넷에서 특정 정보를 조사해달라고 요청했다고 가정해 보겠습니다. AI가 방문한 웹페이지 안에 에이전트를 속이기 위한 악성 명령이 숨겨져 있을 수 있습니다. AI가 이 내용을 신뢰할 경우 사용자가 요청하지 않은 행동을 시도할 가능성이 생깁니다.

OpenAI는 실제 에이전트 환경의 프롬프트 인젝션을 단순한 문자열 공격보다 AI를 대상으로 한 사회공학 공격에 가깝게 설명합니다. 문제는 AI가 단순히 글을 읽는 데서 끝나지 않을 때입니다. 에이전트가 이메일과 파일, 계정 설정 등에 접근할 수 있다면 잘못된 판단 하나가 실제 행동으로 이어질 수 있습니다. 그래서 AI 에이전트 보안에서는 모델의 지능만큼이나 권한 관리가 중요해집니다.

앞으로 중요한 것은 ‘AI가 무엇을 할 수 있느냐’보다 ‘무엇을 허용할 것이냐’다

기업의 보안 구조도 이에 맞춰 바뀔 가능성이 큽니다. 사람에게 적용하던 접근권한 관리가 AI에게도 필요합니다. 모든 시스템에 접근할 수 있는 하나의 강력한 AI를 만드는 것보다 업무별로 필요한 최소 권한만 제공하는 방식이 중요해집니다.

예를 들어 고객지원 AI에는 고객 문의를 읽을 권한을 줄 수 있습니다. 하지만 고객 데이터베이스 전체를 삭제할 권한까지 줄 이유는 없습니다. 회계 AI에는 거래 자료를 분석할 권한을 줄 수 있습니다. 하지만 일정 금액 이상의 송금을 실행할 때는 사람이 승인하도록 만들 수 있습니다.

실제로 Anthropic과 Google Cloud가 제시하는 기업용 에이전트 보안 구조에서도 에이전트별 신원과 권한을 구분하고, 각각의 도구 호출에 정책을 적용하며, 행동 기록을 감사할 수 있도록 하는 것이 핵심 요소로 다뤄집니다.

즉 AI 시대에는 기존의 최소 권한 원칙(Principle of Least Privilege)이 더욱 중요해집니다. AI에게 필요한 만큼만 권한을 주고 중요한 행동에는 별도의 승인 절차를 두는 방식입니다.

그렇다면 인간의 역할은 줄어들까

반복 작업은 상당 부분 줄어들 가능성이 있습니다.
사람이 일일이 프로그램을 열고 파일을 옮기고 데이터를 복사하고 보고서를 만드는 업무는 에이전트가 맡을 수 있습니다.

하지만 그만큼 인간에게 다른 역할이 중요해집니다.
AI가 어떤 시스템에 접근할 수 있는지 결정하고, 어떤 행동은 자동으로 허용할지, 어떤 행동에는 사람의 승인이 필요한지, 문제가 발생했을 때 누가 책임지고 중단할지를 설계해야 합니다.

즉 인간의 역할이 단순히 작업을 수행하는 사람에서 AI가 행동할 수 있는 경계를 설계하고 감독하는 사람으로 이동할 수 있습니다.

이 변화는 생각보다 중요합니다.
AI 시대의 업무 자동화는 사람을 완전히 제거하는 문제가 아니라 사람이 개입해야 하는 지점을 다시 정하는 문제가 될 가능성이 높기 때문입니다.

AI가 ‘말하는 도구’에서 ‘행동하는 도구’로 바뀌고 있다

생성형 AI의 첫 번째 단계에서는 모델이 얼마나 정확한 답을 내놓는지가 중요했습니다.

에이전트 시대에는 질문이 하나 더 추가됩니다.
그 AI에게 실제로 무엇을 할 수 있는 권한이 있는가?

AI가 잘못된 답변을 생성하면 사람이 수정할 수 있습니다. 하지만 잘못된 판단으로 파일을 삭제하거나, 메시지를 발송하거나, 시스템 설정을 변경하거나, 외부 네트워크에 접근한다면 결과는 달라집니다. 그래서 앞으로 AI 성능을 평가할 때는 모델의 지능만 봐서는 충분하지 않을 것입니다.

능력(Capability)과 함께
권한(Permission), 감독(Oversight), 기록(Audit), 중단(Control)을 함께 봐야 합니다.

AI 에이전트가 강력해질수록 가장 중요한 질문은 어쩌면 이것일지도 모릅니다.
“AI가 어디까지 할 수 있는가?”가 아니라 “우리는 AI가 어디까지 하도록 허용할 것인가?”
AI가 컴퓨터와 네트워크를 직접 조작하는 시대의 보안은 바로 그 경계를 설계하는 일에서 시작됩니다.