응답에서 실행으로: AI 에이전트 시대의 사용자 경험 설계

 

신효림 (한국과학기술연구원 지능인터랙션연구센터 박사후연구원)

 

 

인간-AI 상호작용의 변화: 검색과 대화를 넘어 위임으로

 

생성형 인공지능이 일상에 깊숙이 자리 잡으면서, 디지털 환경에서 정보를 탐색하고 처리하는 상호작용의 방식이 거대한 전환기를 맞이하고 있다. 불과 몇 년 전까지만 해도 웹 생태계의 중심은 “검색”이었다. 사용자는 검색창에 키워드를 입력하고, 나열된 링크를 직접 선택하며 정보를 찾아야 했다. 정보 탐색은 사용자가 스스로 확인하고 선별하는 인지적 과정을 전제로 한 인간-컴퓨터 상호작용이었다.

 

이후 등장한 생성형 인공지능은 이 과정을 “대화”로 바꾸어 놓았다. 사용자는 자연스러운 문장으로 질문하고, 인공지능은 파편화된 정보를 수집하여 정제된 답변으로 제시한다. 정보를 직접 찾아 헤매던 검색의 시대를 지나, 인공지능과 질의응답을 주고받는 대화형 상호작용이 일상의 새로운 표준으로 안착한 것이다. 하지만 이제 우리는 이를 넘어서는 또 하나의 변화를 목격하고 있다. 답변을 생성하던 인공지능을 넘어, 사용자의 권한을 위임받아 실제 작업을 수행하는 AI 에이전트가 등장하면서 상호작용의 중심이 응답에서 “실행”으로 옮겨가고 있는 것이다.

 

생성형 인공지능이 응답의 유창함을 가져왔다면, 에이전틱 시스템은 실행의 자율성을 구현했다. 사용자의 입력을 기다리는 수동적 도구에서 목표를 위해 스스로 계획하고 행동하는 능동적인 AI 에이전트로 역할이 확장된 것이다. 이처럼 인공지능이 답변 제공을 넘어 실질적인 과업 수행을 대행하게 됨에 따라, 사용자 경험의 본질 또한 묻고 답하는 소통을 지나 권한의 위임(Delegation)으로 이동하고 있다.

 

이 과정에서 사용자의 입력은 단순한 질문이 아니라, 시스템의 자율적 실행을 촉발하는 목표 그 자체가 된다. 사용자가 달성하고자 하는 지점을 전달하면 인공지능이 그에 맞는 도구와 경로를 설계하고 실행하는 구조로 변모한 것이다. 기존의 대화형 인터페이스가 답변자의 역할에 충실했다면, 위임형 인터페이스는 사용자의 의도를 해석하고 이를 달성하기 위해 구체적인 절차를 수행하는 대행자로서 작동한다. 결과적으로 인간과 인공지능의 소통 창구인 인터페이스는 정보를 보여주는 창을 넘어, 사용자의 권한을 대행하는 자율적 대리인으로 그 기능적 정의가 재편되고 있다. 

 

 

행동하는 인공지능: 새로운 사용자 경험의 설계

 

AI 에이전트는 사용자 대신 정보를 찾고 업무를 처리해주는 혁신적인 편의를 제공하지만, 사용자 경험 설계의 측면에서는 전혀 다른 차원의 과제를 던진다. 대화형 인터페이스에서 인공지능의 문제는 부적절한 문장을 생성하거나 사실과 다른 정보를 제공하는 정보의 왜곡이었다. 물론 이런 오류 역시 지식 탐색 과정에서 혼란을 야기하지만, 사용자가 정보를 수용하기 전 단계에서 검토하거나 재질문을 통해 수정하여 피해를 줄일 수 있는 여지가 있었다. 

 

그러나 AI 에이전트가 사용자의 PC를 직접 조작하고 웹과 앱을 오가며 실제 행동을 수행하기 시작하면, 실수의 성격이 근본적으로 달라진다. 잘못된 링크 클릭에 그치지 않고, 원치 않는 예약 확정, 의도하지 않은 결제 진행, 회사 문서 오발송이나 개인정보 유출과 같은 행동 기반 오류로 이어질 수 있기 때문이다. 이러한 오류는 정보 수정으로 해결되지 않으며, 실질적인 물리적·경제적 손실로 연결될 수 있다. 

 

따라서 새로운 사용자 경험 설계의 과제는 편리한 정보 탐색에서, 인공지능에게 실질적인 권한을 위임하면서도 이를 안전하게 통제하는 구조를 만드는 문제로 이동한다. AI 에이전트의 자율성이 커질수록 사용자의 역할은 명령자에서 관리·감독자로 변화하며, 보안·데이터·권한 설정과 같은 요소는 기술적 구현을 넘어 사용자와 신뢰를 구축하는 경험 설계의 핵심이 된다. 결국 AI 에이전트 시대의 경쟁력은 인공지능의 문장력이 아니라, 사용자가 위임 과정 전반을 파악하고 통제할 수 있도록 설계된 위임형 인터페이스에 달려 있다. 

 

 

AI 에이전트의 현실적 장벽: 위임을 가로막는 세 가지 불확실성

 

AI 에이전트는 행동하는 인공지능으로서 사용자에게 편의를 제공하지만, 동시에 사용자가 안심하고 과업을 맡기기 어렵게 만드는 지점도 드러낸다. 이는 단순한 모델 성능의 문제가 아니라, 과업 수행 과정에서 발생하는 불확실성이 사용자 경험을 저해하기 때문이다.

 

" 판단 과정의 불투명성: 사용자의 목표와 제약이 명확하더라도, AI 에이전트가 과업을 수행하는 과정에서는 수많은 판단을 내려야 한다. 옵션 선택, 우선순위 조정, 예외 처리와 같은 의사결정이 수반되며, 이에 해당하는 기준을 사용자가 사전에 모두 규정하기는 어렵다. 문제는 이러한 판단 과정이 사용자에게 충분히 드러나지 않은 채 실행의 결과값으로만 제시되기 때문에, 결과가 어떻게 도출되었는지 확인하기 어렵다는 점이다. 실행과정이 잘 보이지 않으면 결과에 대한 검토 부담은 커지고, 그 부담이 누적될수록 사용자는 확인을 생략한 채 에이전트를 쓰게 될 가능성도 커진다(Nielsen, 2026). 반대로 모든 의사결정마다 확인을 요구하면 위임의 효율은 줄어들고 상호작용은 다시 대화형 질의응답으로 되돌아간다. 즉, 과정이 충분히 드러나지 않으면, 위임은 사용자에게 편의를 제공하는 동시에 또 다른 형태의 피로와 부담을 가져올 수 있다.

 

" 실행의 비가역성: 자율성을 가진 에이전트는 디지털 및 물리적 환경에 실질적인 변화를 초래하는, 되돌리기 어려운 행동을 수행할 가능성이 있다. 설령 나중에 취소나 수정이 가능하더라도, 사용자는 이미 발생한 비용과 문제를 수습하기 위한 추가적인 시간과 노력을 감당해야 한다. 이러한 리스크를 관리하려면 실행 도중 사용자가 언제든 흐름을 끊고 방향을 바꿀 수 있는 개입 수단이 마련되어야 한다. 실제로 에이전트 사용에 익숙해질수록 사용자는 매 단계마다 수동으로 승인하기보다 일정 수준의 자율성을 부여한 뒤 필요한 순간에 개입하는 방식으로 상호작용을 조정하는 경향을 보인다(Anthropic, 2026). 따라서, 즉각적인 개입의 보장은 단순한 보조 기능이 아니라, 위임의 수준을 높이고 신뢰 관계를 형성하는 핵심 조건이라고 볼 수 있다. 그럼에도 현재 상용화된 에이전트들의 개입 기능은 제품마다 편차가 크고, 경우에 따라서는 사용자의 개입 자체가 불가능하게 설계된 경우도 있다(Staufer et al., 2026). 이런 조건에서는 에이전트의 실질적인 활용 범위는 제한될 수밖에 없다.

 

" 위임과 신뢰의 간극: AI 에이전트는 사용자를 대신해 과업을 수행하는 대리인이다. 에이전트가 독립적인 실행력을 가지려면 사용자의 권한 위임이 선행되어야 하지만, 위임이 곧 에이전트에 대한 전적인 신뢰를 뜻하는 것은 아니다. 사용자가 승인한 것은 목표와 과업의 수행이지, 그 과정에서 이루어지는 모든 중간 판단과 외부 영향까지 무조건 수용하겠다는 뜻은 아니기 때문이다. 그러나 실제 에이전트는 사용자와의 직접적인 소통을 줄인 채 외부 콘텐츠를 참조하거나 도구를 호출하는 등 외부 환경과 상호작용하며 결과를 도출해간다. 이 과정에서는 사용자가 의도하지 않은 정보나 맥락이 판단에 개입할 수 있고, 외부 데이터에 숨겨진 지시가 영향을 미치는 간접 프롬프트 인젝션과 같은 보안 위협에도 노출될 수 있다(Sapkota et al., 2026). 결국 문제는 에이전트가 자율적으로 행동한다는 사실 자체보다, 그 판단이 어떤 조건에서 이루어지고 무엇에 의해 영향을 받을 수 있는지가 사용자에게 충분히 이해되지 않는다는 데 있다. 따라서 에이전틱 UX의 중요한 과제는 자율성을 확대하는 데 그치지 않고, 판단의 조건과 영향 범위를 사용자에게 설득력 있게 제시하는 데 있다.

 

 

에이전틱 UX의 설계원칙: 위임을 가능하게 하는 인터페이스

 

앞서 살펴본 불확실성은 서로 다른 문제처럼 보이지만, 결국 하나의 설계 문제로 수렴한다. 에이전트의 실행 과정에서 사용자는 무엇을 확인할 수 있는지, 어느 지점에서 개입할 수 있는지, 그리고 위임의 범위와 그 결과를 어떻게 확인할 수 있는지. 따라서 에이전틱 UX의 핵심은 더 많은 자동화를 구현하기보다, 에이전트의 자율적 실행이 사용자에게 이해 가능하고 관리 가능한 형태로 드러나도록 인터페이스를 설계하는 데 있다. 이런 점에서 위임형 인터페이스는 단순한 대화창이 아니라, 상태와 과정, 권한과 개입 지점을 함께 조직하는 운영 화면에 가까워진다.

 

" 과정은 이해 가능하게 보여야 한다: 판단 과정이 보이지 않는다고 모든 내부 단계를 그대로 보여주는 것은 해결책이 될 수 없다. 사용자에게 필요한 것은 특정한 결과가 왜 도출되었는지 맥락적으로 따라갈 수 있을 만큼 보이는 것이다. 따라서 위임형 인터페이스는 에이전트의 모든 실행 흔적을 장황하게 나열하기보다, 사용자가 이해할 수 있는 의미 단위로 묶어 검토 가능한 형태로 제시할 필요가 있다. 중요한 단계와 근거, 변화 지점을 중심으로 실행을 구조화하고, 이를 요약된 정보와 세부 정보가 구분되는 방식으로 과정을 정리해야 한다. 예를 들어 기본 화면에는 핵심 정보만 제시하고, 사용자가 필요할 때만 세부 내용을 열어볼 수 있는 계층형 구조를 마련하면 검토의 효율을 높일 수 있다. 결국 중요한 것은 과정을 많이 보여주는 데 있지 않고, 사용자가 판단의 흐름을 따라갈 수 있도록 정리해 보여주는 데 있다.

 

" 상태와 운영 조건을 한눈에 파악할 수 있어야 한다: 에이전트에 대한 위임이 신뢰로 이어지려면, 시스템이 현재 어떤 조건과 제약 아래에서 움직이고 있는지가 먼저 드러나야 한다. 사용자가 확인해야 할 것은 단순한 기능의 목록이 아니라, 현재 활성화된 권한의 범위와 연결된 서비스, 구체적인 진행 단계, 다음 행동의 방향, 그리고 그에 수반될 자원 및 비용이다. 이러한 정보가 여러 설정 메뉴에 흩어져 있으면, 사용자는 에이전트가 허용된 경계 안에서 적절히 작동하고 있는지 한눈에 파악하기 어렵다. 따라서 인터페이스는 개별 항목을 분산 배치하는 대신, 현재의 작동 상태와 운영 환경을 한눈에 읽을 수 있는 통합된 운영 화면을 제공해야 한다. 에이전트의 작동 조건과 운영 환경이 분명히 드러날 때, 사용자는 그 자율적 실행을 납득할 수 있고 에이전트에 대한 신뢰를 형성할 수 있다.

 

" 물리적 제어권을 보장해야 한다: 위임은 과업의 수행을 맡기는 것이지, 통제권까지 넘기는 일을 뜻하지 않는다. 사용자는 필요할 때 언제든 실행을 멈추거나 목표를 수정할 수 있어야 하며, 필요한 경우 직접 작업을 이어받아 처리한 뒤 다시 에이전트에게 맡길 수 있어야 한다. 이러한 가능성이 보장되지 않으면, 에이전트의 자율성은 편의의 확대가 아니라 통제권 상실로 받아들여질 수밖에 없다. 특히 에이전트의 판단이 외부 서비스 호출이나 실제 행동으로 이어지는 환경일수록, 이러한 개입 수단의 중요성은 더욱 커진다. 따라서 위임형 인터페이스는 사용자가 수행의 흐름을 중단하거나 다시 조정할 수 있는 구조를 갖추어야 한다.

 

" 사용자 확인 지점을 설계해야 한다: 모든 단계를 사람에게 일일이 확인받는 에이전트는 번거롭고, 반대로 모든 단계를 에이전트에게 일괄적으로 맡기는 것은 불안하다. 중요한 것은 횟수의 문제가 아니라 배치의 문제다. 반복적이고 저위험인 작업은 에이전트가 자율적으로 처리하되, 되돌리기 어렵거나 비용·책임이 큰 순간에는 사용자의 확인이 다시 개입되어야 한다. 좋은 인터페이스는 승인 버튼을 많이 두는 화면이 아니라, 어디서 사용자를 다시 불러와야 하는지를 정확히 설계한 화면이다. 결국 확인의 문제는 절차의 반복이 아니라 경계의 설정으로, 무엇을 자동화하고 무엇을 사용자 판단에 남길 것인지가 분명하게 정의되어야 한다.

 

 

이제 중요한 것은 ‘답’이 아니라 ‘맡길 수 있음’이다

 

생성형 인공지능은 이미 충분히 잘 말한다. 질문의 맥락을 이해하고, 그럴듯한 문장을 만들고, 필요한 정보를 정리해주는 능력은 빠르게 일상화되고 있다. 그러나 AI 에이전트의 시대가 본격화되면서, 이제 우리의 관심은 더 이상 인공지능이 얼마나 잘 답하는가에 머물 수 없게 되었다. 진짜 문제는 그 다음이다. 우리는 과연 인공지능에게 무엇을, 어디까지, 어떤 조건에서 맡길 수 있는가.

 

이 질문은 단순히 기술의 성능만으로 풀리지 않는다. 아무리 뛰어난 모델이라도 사용자가 그 실행 과정을 이해할 수 없고, 필요한 순간 개입할 수 없으며, 위임의 범위와 책임이 불분명하다면 그 자율성은 편의가 아니라 불안으로 돌아온다. 결국 에이전트 시대의 경쟁력은 더 믿고 맡길 수 있는 실행 구조에 있다. 중요한 것은 자동화를 어디까지 확대할 수 있느냐가 아니라, 무엇을 시스템에 맡기고 무엇을 인간의 판단으로 남길 것인지 그 기준을 분명히 하는 일이다. 이때 인터페이스는 단순히 정보를 보여주고 명령을 입력받는 창이 아니라, 권한의 범위와 실행의 상태를 드러내고 사용자가 필요할 때 개입할 수 있게 하는 구조가 되어야 한다.

 

앞으로의 인간-AI 상호작용은 무엇을 보여줄 것인가의 문제가 아니라, 어떻게 맡길 것인가의 문제로 이동할 것이다. 검색창과 대화창이 정보 접근의 시대를 상징했다면, 이제 우리에게 필요한 것은 권한과 개입, 상태와 책임이 함께 드러나는 위임형 인터페이스다. 사용자가 자신의 판단과 책임을 잃지 않은 채 맡길 수 있을 때 비로소 에이전트의 실행은 가치를 갖는다. 답변에서 실행으로 넘어가는 이 전환의 시대에, 결국 중요한 것은 더 유창한 응답이 아니라 맡길 수 있는 조건을 설계하는 일이다.

 

 

 

 

 

 

 

참고자료

 

Abou Ali, M., Dornaika, F., & Charafeddine, J. (2026). Agentic AI: A comprehensive survey of architectures, applications, and future directions. Artificial Intelligence Review, 59, 11.

AI Agent Index. (2026). The AI Agent Index: Updated 2025 edition. https://aiagentindex.mit.edu/

Anthropic. (2025). Our framework for developing safe and trustworthy agents.

Anthropic. (2026, February 18). Measuring AI agent autonomy in practice.

Augment Code. (2026). Intent: Build with Intent.

Infocomm Media Development Authority. (2026, January 22). Model AI governance framework for agentic AI.

Meta. (2025). Agents rule of two: A practical approach to AI agent security.

Moran, K., Budiu, R., Gibbons, S., & The Experts at NN/g. (2026). State of UX 2026: Design deeper to differentiate.

Nielsen, J. (2026). 18 predictions for 2026. UX Tigers.

Sapkota, R., Roumeliotis, K. I., & Karkee, M. (2026). AI agents vs. agentic AI: A conceptual taxonomy, applications and challenges. Information Fusion, 103599.

Shome, P., Krishnan, S., & Das, S. (2025). Why Johnny can’t use agents: Industry aspirations vs. user realities with AI agent software. arXiv preprint, arXiv:2509.14528.

Staufer, L., Feng, K., Wei, K., Bailey, L., Duan, Y., Yang, M., Ozisik, A. P., Casper, S., & Kolt, N. (2026). The 2025 AI Agent Index: Documenting technical and safety features of deployed agentic AI systems. arXiv preprint, arXiv:2602.17753.

Wroblewski, L. (2025). Context management UI in AI products.

Wroblewski, L. (2025). The receding role of AI chat.

Wroblewski, L. (2026). Showing the work of agents in UI.

 

디지털사회(Digital Society)는 연세대학교 디지털사회과학센터(Center for Digital Social Science)에서 발행하는 이슈브리프입니다. 디지털사회의 내용은 저자 개인의 견해이며, 디지털사회과학센터의 공식입장이 아님을 밝힙니다.