# 기업의 AI 에이전트를 감시하는 또 다른 AI: 온익스 시큐리티의 접근

> 2026-05-28 · No Priors · 큐레이션 김태우
> https://challengekim.com/insights/기업의-ai-에이전트를-감시하는-또-다른-ai-온익스-시큐리티의-접근
> 원문: https://www.youtube.com/watch?v=QDsbFLEt9ro

## 핵심 요약

- 온익스 시큐리티는 기업의 AI 에이전트가 수행하는 행동을 감시하는 모델과 제품을 만든다. CEO 막심 바르 코건은 에이전트의 행동이 늘수록 사람이 매번 승인하는 방식은 유지하기 어렵다고 본다.
- 기존 권한 관리나 API 보안 도구는 같은 행동이라도 사용자의 요청에 따른 것인지, 에이전트가 엉뚱한 작업 중 스스로 결정한 것인지 구분하기 어렵다는 것이 그의 설명이다.
- 온익스는 작은 모델로 추가 검토가 필요한 순간을 가려내고, 그때 더 강력한 에이전트를 투입하려 한다. 모든 행동에 강력한 모델을 붙이면 비용과 지연이 커진다.
- 바르 코건은 AI 제공사와 별개인 감시 주체가 필요하다고 주장한다. 다만 모델 내부를 이해하는 연구가 장기적으로 얼마나 성과를 낼지는 아직 알 수 없다고 인정한다.

## 자율 에이전트의 등장과 감시 문제

바르 코건이 이 문제에 관심을 갖게 된 계기는 AutoGPT였다. 대규모 언어 모델이 문장만 생성하는 대신 다음 행동을 정하고, 도구를 사용해 그 행동을 반복하는 방식이었다. 당시에는 모델 성능이 충분하지 않아 제대로 작동하지 않았지만, 그는 더 유능한 모델이 나오면 에이전트가 복잡한 작업을 맡게 될 가능성을 봤다. 창업 초기에는 기업에서 자율 에이전트를 거의 쓰지 않아 시기가 너무 이르다는 반응도 들었다고 한다.

이후 긴 작업을 수행하는 모델과 코딩 에이전트가 등장하면서 상황이 달라졌다는 것이 그의 판단이다. 제한된 연결 기능에 의존하는 자동화 도구보다 자율성이 높은 에이전트가 더 많은 일을 처리할 수 있게 됐고, 대기업도 이를 도입하기 시작했다. 동시에 잘못된 작업으로 서비스가 중단되거나 공개해서는 안 되는 코드와 토큰이 게시되는 사례도 나타났다고 그는 말했다.

온익스의 제품은 기업 안의 AI와 자율 에이전트를 찾아 연결하고, 그 행동을 살피는 ‘제어 평면’이다. 바르 코건은 에이전트의 행동이 크게 늘어나는 상황에서 사람을 모든 결정의 승인 단계에 두기 어렵다고 본다. 제품의 목표는 허용되지 않거나 잘못된 행동이 실행될 가능성을 낮추는 것이다.

## 기업에서 쓰이는 에이전트의 세 유형

바르 코건은 자신이 접하는 일반적인 기업 환경의 에이전트를 세 가지로 나눴다. 화면에서 구성하는 저코드 자동화, 기업이 직접 만드는 에이전트, 자율적으로 움직이는 코딩 에이전트와 업무 보조 도구다. 그의 대략적인 추정으로는 마지막 범주가 50%를 넘고, 저코드 자동화가 약 45%, 기업이 직접 만드는 에이전트가 약 2%다. 이는 그가 관찰한 고객 환경에 관한 추정치이며, 전체 기업 시장의 통계로 제시한 수치는 아니다.

직접 에이전트를 만드는 일이 더 어려운 만큼 완성된 도구를 도입하거나 저코드 방식으로 구성하는 사례가 많다고 그는 설명했다. 그중에서도 자율 에이전트가 가장 빠르게 늘고 있다고 봤다. 기업마다 허용하는 도구의 범위는 다르다. 금융 부문에는 허용 대상을 더 세밀하게 정하는 곳이 있으며, 그는 규모가 큰 기업일수록 AI 도입의 이익과 감수할 손실을 다르게 따질 수 있다고 말했다.

## 기존 보안 도구가 놓치는 맥락

전통적인 권한 관리는 소프트웨어가 할 수 있는 일을 제한한다. 하지만 기업은 에이전트에게 다양한 업무를 맡기고, 사용자가 자리를 비운 사이에도 끝내기를 원한다. 바르 코건에 따르면 이런 요구에서는 필요한 권한의 경계를 미리 좁게 정하기가 어렵다.

그는 데이터베이스를 지우고 다시 만드는 작업을 예로 들었다. 사용자가 그 작업을 명시적으로 지시했다면 시간을 절약할 수 있다. 반면 다른 업무를 하던 에이전트가 같은 작업을 스스로 필요하다고 판단했다면 막아야 할 수 있다. 보안 도구에 보이는 API 호출은 비슷해도, 에이전트가 어떤 목표로 행동하는지 알지 못하면 두 경우를 구분하기 어렵다는 것이다.

프록시를 통해 데이터를 보는 방법도 일부 시스템에서는 쓸 수 있다. 그러나 AI가 기업의 클라우드, 외부 업체의 인프라, 개인 기기 등 여러 곳에서 실행되므로 항상 적용할 수는 없다고 그는 설명했다. 데이터를 볼 수 있더라도 그 행동이 적절한지 판단하는 문제가 남는다.

## 작은 모델로 검토할 순간을 고른다

강력한 에이전트가 다른 에이전트의 모든 행동을 검토하게 하면 감시 비용과 처리 시간이 크게 늘어난다. 온익스가 작은 전용 모델을 훈련하는 이유다. 이 모델의 역할은 행동 전체를 평가하는 것이 아니라, 더 강력한 감시 에이전트가 자세히 봐야 할 순간을 가려내는 것이다.

이 방식에는 두 조건이 따른다. 위험한 행동을 지나치지 않아야 하고, 불필요하게 강력한 감시 에이전트를 자주 호출해서도 안 된다. 바르 코건은 에이전트가 발전할수록 작은 모델도 검토가 필요한 행동을 계속 구별할 수 있어야 한다고 말했다. 이는 그가 온익스의 핵심 기술 과제로 꼽은 부분이다.

## 독립적인 감시와 장기 연구

바르 코건은 AI를 공급하는 회사와 그 행동을 평가하는 주체가 분리될 이유가 있다고 본다. 기업이 제품 공급사의 자체 평가만으로 안전성을 판단하고 싶어 하지 않을 수 있다는 것이다. 또 그의 설명에 따르면 온익스는 에이전트의 과거 행동 데이터를 살펴볼 수 있지만, 일부 기업은 같은 데이터를 대형 모델 제공사에 맡기는 데 주저한다. 여러 업체의 모델을 함께 쓰는 기업이라면 모든 제공사가 동일한 수준의 감시 기능을 갖추기를 기대하기도 어렵다고 그는 주장했다.

그는 모델의 가중치와 작동 중 활성화 상태 등 내부 구조를 이해하는 연구도 장기적 해법의 일부가 될 수 있다고 본다. 사람이 이를 해석하기는 어렵지만 더 유능한 모델이 연구를 도울 가능성이 있다는 전망이다. 실제로 어느 정도까지 가능한지는 아직 확인되지 않았다.

AI를 이용해 취약점을 찾아내는 비용이 낮아지는 문제에 대해서도 그는 즉각적인 수정과 접근 권한·방화벽·기기 보호 같은 기본 보안 체계를 함께 언급했다. AI 에이전트를 위한 감시 역시 기업 보안 체계의 한 부분으로 자리 잡아야 한다는 것이 그의 주장이다.

온익스가 제시한 과제는 에이전트에 충분한 권한을 주면서도 개별 행동의 맥락을 판단하는 일이다. 작은 모델로 검토 대상을 추리는 방식은 비용과 속도의 문제를 다루지만, 위험한 행동을 놓치지 않고 가려낼 수 있는지가 성패를 좌우한다.

---

원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=QDsbFLEt9ro)