AI가 대신 주문했다면, 책임은 누구에게 갈까요

AI가 대신 주문했는데 잘못된 상품이 왔다면

AI 비서에게 장보기를 맡겼다고 해볼게요. 장바구니와 총액이 뜨고, 주문을 완료할지 물어요. 금액이 예상 범위 안이라 승인을 눌렀는데, 나중에 보니 알레르기 성분이 든 제품이 포함돼 있어요. 배송지를 잘못 고르거나 같은 주문이 중복 결제되는 사고도 생각해볼 수 있고요.

마지막 클릭은 사람이 했어요. 하지만 그 전에 사용자의 지시, AI의 해석, 상점의 상품 정보, 주문·결제 시스템이 함께 작동했어요. 어느 단계에서 무엇이 잘못됐는지에 따라 따져야 할 상대도 달라져요.

확인을 눌렀다는 사실만으로 사용자가 모든 책임을 지는 것은 아니에요. 반대로 AI가 처리했다는 이유만으로 사용자에게 아무 책임도 없다고 할 수도 없고요. 오늘은 사고가 났을 때 의도, 권한, 실행, 확인, 복구의 다섯 단계를 따라 원인을 살펴보려 해요.

확인 절차가 있어도 오류는 남아요

답변만 하는 챗봇도 잘못된 정보로 피해를 줄 수 있어요. 여기에 에이전트는 주문·발송·삭제를 직접 실행하는 권한까지 가질 수 있어요. 정확성과 함께 어떤 행동을 허용하고 어떻게 되돌릴지 정해야 하는 이유예요.

OpenAI는 2025년 1월 Operator 시스템 카드에서 안전 조치가 적용되지 않은 모델에 일상적인 과제 100개를 맡긴 결과를 공개했어요. 불편을 일으킨 오류는 13개였고, 그중 8개는 몇 분 안에 쉽게 되돌릴 수 있었어요. 나머지 5개에는 잘못된 수신자에게 보낸 메일과 잘못 주문한 음식 등이 포함됐어요.

회사는 확인 절차를 중심으로 위험을 약 90% 낮췄다고 설명했어요. 별도의 607개 과제 평가에서는 확인이 필요한 상황에 확인을 요청한 비율, 즉 확인 재현율이 평균 92%였어요. 출시 전 자사 평가 결과이므로 실제 사용자들의 사고율로 읽어서는 안 돼요. Operator 시스템 카드

2025년 7월 ChatGPT agent 시스템 카드의 확인 재현율은 91.0%였어요. 문서는 평가가 실제 확인 행동을 놓친 사례가 많아 이 값이 과소추정됐다고 설명해요. 금융 거래 같은 중요 행동은 별도로 평가했어요. 따라서 두 발표의 92%와 91%만 비교해 개선이 없었다거나, 지금 결제 열 번 중 한 번은 확인 없이 실행된다고 결론 내릴 수는 없어요. ChatGPT agent 시스템 카드

제가 여기서 중요하게 보는 건 오류가 나기 전의 확인과, 난 뒤의 복구를 함께 설계해야 한다는 점이에요.

무엇을 보고 승인했는지가 중요해요

총액만 보여주는 화면과 상품명·수량·배송지·반품 조건까지 보여주는 화면은 사용자가 검토할 수 있는 정보가 달라요. 나중에 동의 범위를 다툴 때도 당시 화면과 지시 내용이 중요한 자료가 될 수 있어요. 다만 화면에 총액만 있었다고 해서 법적으로 총액에만 동의한 것으로 자동 판단되는 것은 아니에요.

승인 요청을 늘리는 데도 한계가 있어요. Anthropic은 2026년 4월 글에서 도구의 각 행동을 항상 허용, 승인 필요, 차단으로 설정하는 방식을 설명했어요. 캘린더 조회는 허용하되 초대장 발송에는 승인을 받는 식이에요. 동시에 수십 번씩 확인을 요구하면 사용자가 요청을 주의 깊게 읽지 않을 수 있다고 짚었어요. Claude Code에서는 실행 계획을 먼저 검토하는 방식도 제시했고요. Anthropic의 설계 설명

계획을 먼저 승인하면 매 단계에서 멈추는 부담을 줄일 수 있어요. 그때도 계획에 포함된 작업과 새로 생긴 작업을 구분해야 해요. 파일 정리를 허락한 것이 관련 없는 파일의 삭제까지 허락한 것인지, 결제 한 번을 승인한 것이 이후의 자동 결제까지 포함하는지 분명해야 하니까요.

Anthropic의 2026년 2월 사용 연구에서는 Claude Code 신규 사용자의 약 20%가 세션 전체 자동 승인을 썼고, 경험이 많은 사용자에서는 40%를 넘었어요. 경험이 많은 사용자는 중간 개입도 더 자주 했어요. 모든 단계를 미리 승인하기보다 실행을 지켜보다 개입하는 방식이 나타난 거예요. 이 결과가 곧 검토 수준의 하락을 뜻하지는 않아요. 자율성 측정 연구

저는 승인 횟수보다 사용자가 실제로 통제할 수 있는 범위가 중요하다고 봐요. 무엇을 맡겼고, 어디서 멈출 수 있으며, 추가 허락이 필요한 행동은 무엇인지 알 수 있어야 해요.

조작된 정보를 승인할 위험도 있어요

에이전트가 읽는 웹페이지나 문서에는 사용자가 시키지 않은 행동을 유도하는 지시가 숨어 있을 수 있어요. 이를 프롬프트 인젝션이라고 해요. 사용자는 상품을 비교해 달라고 했는데, 페이지 안의 지시가 다른 사이트로 정보를 보내라고 유도하는 식이에요.

확인 절차는 이런 공격의 피해를 줄이는 데도 도움이 될 수 있어요. 다만 AI가 만든 요약이나 승인 화면이 잘못된 정보를 담고 있다면 사용자가 오류를 놓칠 수 있어요. OpenAI와 Anthropic도 확인 요청 하나에 의존하지 않고 모델 훈련, 감시 장치, 접근 권한 제한 등을 함께 설명해요.

이 경우 “승인했다”는 기록만 남겨서는 사고를 충분히 설명하기 어려워요. 어떤 자료를 읽었고, 무엇을 사용자에게 보여줬으며, 승인한 내용과 실행한 내용이 일치했는지까지 연결돼야 해요. 승인 기록 자체가 제품의 결함이나 사업자의 의무 위반을 없애주지는 않아요.

다섯 단계로 원인을 찾아볼 수 있어요

단계	확인할 내용	살펴볼 자료
의도	사용자는 무엇을 요청했나	원래 지시와 이후 수정 내용
권한	읽기·작성·결제·삭제 중 어디까지 허용했나	권한 설정과 위임 범위
실행	어떤 정보와 도구로 처리했나	상품 정보, 도구 호출, 주문·결제 기록
확인	사용자에게 무엇을 보여줬나	승인 화면과 승인 시각
복구	취소·환불·복원이 가능한가	판매자 연락처와 복구 절차

이 표는 법적 책임 비율을 정하는 기준이 아니에요. 서로 다른 회사에 흩어진 자료를 모아 원인을 확인하는 순서예요. 복구도 반드시 제품 밖에서만 일어나는 것은 아니에요. 제품 안의 취소 기능으로 끝날 수도 있고, 판매자나 결제 사업자의 도움이 필요할 수도 있어요.

사내 계정을 에이전트와 함께 쓰면 기록을 더 세심하게 남길 필요가 있어요. 계정 이름만으로는 직원이 직접 실행했는지 에이전트가 대신 실행했는지 알기 어려울 수 있거든요. 도구별 권한과 승인·실행 기록이 있으면 이를 구분하는 데 도움이 돼요.

OWASP의 에이전트 보안 지침도 작업에 필요한 도구만 허용하고, 민감한 행동에 권한 검사를 적용하며, 도구 호출과 결과를 기록하도록 권고해요. OWASP 보안 지침

주문 화면을 보여주는 회사와 판매자가 다를 수 있어요

OpenAI의 Agentic Commerce Protocol 문서에서는 ChatGPT가 주문 화면을 보여주지만, 판매자 시스템이 주문 수락 여부를 결정하고 기존 결제 사업자를 통해 대금을 처리해요. OpenAI는 이 구조에서 거래상 판매자 지위를 뜻하는 merchant of record가 아니라고 설명해요. 주문·결제 구조

이 설명만으로 한국법상 지위나 책임이 정해지는 것은 아니에요. 서비스가 실제로 어떤 역할을 하는지와 적용되는 법을 함께 봐야 해요. 판매자용 상품 정보 제출 약관의 대리인 책임 조항도 그 제출 행위에 관한 내용이에요. 소비자의 AI 비서가 낸 모든 사고의 책임을 정한 조항으로 넓혀 읽기는 어려워요. 상품 정보 제출 약관

한국의 전자상거래법 제20조는 통신판매중개자가 거래 당사자가 아니라는 사실을 소비자가 쉽게 알도록 미리 고지하게 해요. 중개업자는 사업자인 판매자의 신원정보를 확인하고 소비자가 청약하기 전까지 제공해야 하고요. 개발자 문서에 영어로 판매자 지위를 설명했다고 해서 이 소비자 고지 의무를 충족했다고 볼 수는 없어요. 제20조

제20조의2는 고지 누락이나 잘못된 신원정보 제공 등에 따른 연대배상 책임도 규정해요. 손해와 위반 사이의 관계를 따져야 하고, 신원정보 관련 책임에는 상당한 주의를 기울인 경우의 예외가 있어요. 판매자 이름이 한 화면에서 보이지 않는다는 사실 하나만으로 배상 책임을 확정할 수는 없어요.

청약철회는 원칙적으로 계약 서면을 받은 날부터 7일 이내이며, 상품 공급이 더 늦으면 공급받은 날 등을 기준으로 해요. 표시·광고나 계약 내용과 다르게 이행된 경우에는 공급받은 날부터 3개월 이내이면서 그 사실을 알았거나 알 수 있었던 날부터 30일 이내라는 별도 기준이 적용돼요. 상품 훼손이나 이미 제공된 디지털 콘텐츠 등에는 제한과 예외가 있으므로 거래 내용을 확인해야 해요. 법제처의 청약철회 설명

이 법이 해당 AI 서비스에 어떻게 적용되는지는 거래 구조에 따라 달라져요. 실제 분쟁에서는 승인 화면뿐 아니라 계약, 상품 정보, 주문 기록을 모아 검토해야 해요.

무료 서비스에서도 복구 방법을 확인해야 해요

무료 AI 비서라고 해서 개인정보 보호나 소비자 보호와 관련된 의무가 자동으로 없어지는 것은 아니에요. 다만 무료·유료를 불문하고 제공되는 기록, 지원 범위, 보상 약정은 상품마다 달라요.

사고가 나면 어디에 연락할 수 있는지, 주문번호를 내보낼 수 있는지, 서비스 계약이 끝나도 필요한 기록을 확보할 수 있는지 살펴볼 필요가 있어요. 가격만으로 복구 가능성을 판단하기는 어려워요.

오스왈드의 시선

이번 원고를 준비하면서 숫자보다 오래 확인한 건 제품의 출시와 종료 안내였어요.

OpenAI의 현재 도움말은 Operator 웹사이트를 더 이상 이용할 수 없다고 설명해요. ChatGPT agent도 더 이상 제공되지 않는다며 ChatGPT Work와 클라우드 브라우저를 안내하고요. Atlas에는 2026년 8월 9일을 종료일로 안내하면서 필요한 북마크와 브라우저 자료를 따로 저장하라고 적혀 있어요. ChatGPT agent 안내, Atlas 종료 안내

제품이 바뀌거나 종료돼도 그 제품으로 실행한 주문·발송·삭제의 결과가 자동으로 취소되지는 않아요. 반면 당시 승인 화면이나 실행 기록에 계속 접근할 수 있는지는 별개의 문제예요. 보존 기간과 이전 방법을 확인해야 해요.

그래서 저는 행동형 AI를 도입할 때 정확성과 함께 제품을 더 이상 쓰지 않게 된 뒤에도 사고를 조사하고 필요한 조치를 할 수 있는지 먼저 물어야 한다고 봐요. 계약서와 기록 내보내기 기능, 판매자·연동 사업자의 지원 절차에서 답을 찾아야 해요.

직원이 사내 계정으로 에이전트를 쓸 때도 마찬가지예요. 회사가 확인할 수 있는 기록이 직원 계정 이름뿐인지, 승인과 도구 실행까지 남는지 알아야 해요. 모든 로그를 무기한 저장하자는 뜻은 아니에요. 필요한 기록의 범위, 보존 기간, 접근 권한을 도입 시점에 정하자는 이야기예요.

승인 전에 확인할 다섯 가지

1. 실행할 내용이 구체적으로 보이나요. 상품·수량·금액·배송지처럼 결과를 바꾸는 항목을 확인할 수 있어야 해요.
2. 허락의 범위가 분명한가요. 이번 작업에만 적용되는지, 반복 실행이나 추가 작업까지 포함하는지 살펴보세요.
3. 기록과 취소 방법을 찾을 수 있나요. 주문번호, 실행 시각, 되돌리는 절차를 확보할 수 있는지 확인하세요.
4. 필요한 권한만 줄 수 있나요. 조회만 필요한 일에 결제나 삭제 권한까지 줄 이유는 없어요.
5. 거래 상대와 지원 창구를 알 수 있나요. AI 제공자, 판매자, 결제 사업자의 역할과 연락 경로를 구분해 두세요.

확인 버튼은 사고를 줄이는 수단이에요. 그 버튼 하나가 모든 위험을 막거나 모든 책임을 정해주지는 않아요. 사용자가 실제로 검토할 수 있는 정보와 실행을 통제할 권한, 잘못됐을 때 사용할 기록과 복구 절차가 함께 있어야 해요.

💬 AI에게 주문이나 발송을 맡겨보셨다면, 승인 전에 무엇을 한 번 더 확인하시나요? 되돌리려다 필요한 기록을 찾지 못했던 경험도 들려주세요.

참고자료 & 더 읽기

• OpenAI Operator 시스템 카드, 2025년 1월 23일.
• ChatGPT agent 시스템 카드, 2025년 7월 17일.
• Anthropic: Trustworthy agents in practice, 2026년 4월 9일.
• Anthropic: Measuring AI agent autonomy in practice, 2026년 2월 18일.
• OpenAI Agentic Commerce Protocol의 역할 구분.
• OWASP AI Agent Security Cheat Sheet.
• 전자상거래법: 중개자의 의무·책임과 청약철회 관련 규정.

함께 읽으면 좋은 지난 호

• 한국 사업자가 에이전트 결제에 참여할 때 확인할 조건
• AI 에이전트에 선불카드와 지출 한도를 주는 방법
• AI 에이전트 사용 경험과 감독 방식의 변화

필자 안광섭 (오스왈드)은 세종대학교 겸임교수, INLEVEL9 전략 컨설턴트입니다. 경력, 연구, 저서와 최신 활동은 저자 소개에서 계속 갱신합니다. 최근 소식 · 2026년 8월: 2026 세종도서 교양부문 우수도서 선정.