AI 도입 전에 데이터·승인·복구 기준을 정해야 하는 이유

모델을 고르기 전에 맡길 일을 정해야 해요

AI를 도입할 때 어떤 모델을 쓸지부터 비교하기 쉬워요. 답변이 정확한지, 속도는 어떤지, 비용은 얼마인지 확인해야 하니까요. 그런데 모델을 골라도 남는 질문이 있어요. 어떤 데이터에 접근하게 할지, 어떤 결과를 사람이 확인할지, 잘못 실행했을 때 누가 처리할지예요.

저는 이 질문에 답하는 일을 가이드라인 작성이라고 생각해요. 추상적인 원칙을 길게 적기보다, 실제 업무에서 누가 무엇을 할지 정하는 거예요. 모델 성능을 비교하는 일과 함께 시작해야 하고, 고객이나 시민에게 영향을 주는 실행에 연결하기 전에는 기준이 있어야 해요.

이 글을 준비하며 공공부문의 AI 관련 문서를 발행 순서대로 살펴봤어요. 특히 눈에 들어온 것은 기술 소개를 넘어 기획·예산·계약·구축·운영을 함께 다룬 최근 가이드였어요. AI 도입을 제품 하나를 구매하는 일보다 넓게 보고 있다는 뜻으로 읽혔어요.

공공부문 가이드는 서비스 개발 전 과정을 다뤄요

행정안전부는 2026년 6월 10일 「공공부문 AI 도입·활용 가이드」를 배포했어요. 공공기관이 범정부 공통기반을 이용해 서비스를 개발하는 과정을 기획, 예산, 계약, 구축, 운영의 다섯 단계로 정리한 자료예요.

기술과 운영은 여기서 따로 떨어져 있지 않아요. 예를 들어 RAG를 우선 활용하는 전략이 들어 있어요. RAG는 AI가 기관의 문서 등을 먼저 찾아보고 그 내용을 근거로 답하도록 하는 방식이에요. 모델이 기억한 내용에만 의존하는 것을 줄일 수 있지만, 문서가 오래됐거나 검색·답변이 잘못되면 오류는 여전히 생길 수 있어요.

공통기반 이용은 각 기관이 비슷한 장비와 시스템을 중복해서 구축하는 부담과도 연결돼요. 어떤 서비스를 만들지뿐 아니라 기존 기반을 어떻게 활용하고 누가 운영할지까지 정해야 하는 거예요.

행안부는 이 가이드가 8월 28일 시행되는 개정법의 공통기반 우선 이용 조항에 대응하기 위해 마련됐다고 설명했어요. 행안부의 가이드 배포 자료.

여기서 제가 읽은 변화는 문서의 양이 아니에요. AI를 실제 행정업무에 붙이는 데 필요한 예산과 계약, 운영 책임을 구체적으로 다루기 시작했다는 점이에요. 가이드가 여러 번 나왔다는 이유만으로 그동안의 공공 AI 성과 대부분이 문서였다고 볼 수는 없어요.

공공기관의 서비스 목록에는 무엇을 쓰는지 드러나야 해요

8월 28일부터 「데이터기반행정 활성화에 관한 법률」은 「인공지능 및 데이터 기반 행정 활성화에 관한 법률」로 바뀌어 시행됐어요. 공공기관의 AI 활용과 관련해 여러 조항이 추가됐어요.

제27조는 행안부장관과 과기정통부장관에게 공통기반을 구축·운영하도록 하고, 공공기관의 장에게는 AI 도입 시 이를 우선 이용하도록 노력할 의무를 둬요. 제30조는 기관이 제공하는 AI 서비스의 유형·목적·데이터 등 현황을 관리하고 행안부장관에게 제출하도록 해요. 행안부장관은 그 목록을 매년 공표해야 하고요.

제31조는 행안부장관이 공공기관에 적용할 윤리기준을 제정·공표하도록 해요. 기관의 장은 이에 맞는 시책과 교육 등을 마련하도록 노력해야 해요. 이처럼 의무의 주체와 내용이 조항마다 달라요.

목록 제출이 유일한 의무인 것도 아니에요. 같은 법에는 교육과 학습용 데이터의 품질 확보에 관한 조항도 있어요. 새로 마련한 공공분야 영향평가 조항은 부칙에 따라 시행 시점이 더 늦어요. 법의 이름이 바뀐 날 모든 신설 조항이 동시에 적용된다고 생각해서는 안 돼요. 법률의 개정문과 부칙.

저는 이 가운데 서비스 목록 관리가 실무의 출발점이 될 수 있다고 봐요. 어디에 AI를 쓰는지 알아야 담당자와 사용 데이터, 위험을 확인할 수 있으니까요. 다만 목록을 제출했다고 실제 사용 현황이 저절로 정확해지는 것은 아니에요. 서비스가 바뀔 때 갱신할 사람과 절차가 필요해요.

고영향 AI인지 확인받을 때도 서비스 설명이 필요해요

민간에서도 서비스의 용도와 작동 방식을 먼저 정리해야 할 일이 있어요. 인공지능기본법에 따른 고영향 AI 해당 여부를 확인하는 절차예요.

사업자는 사전에 해당 여부를 검토하고, 필요하면 과기정통부에 확인을 요청할 수 있어요. 모든 회사가 AI를 시험할 때마다 정부의 사전 허가를 받아야 한다는 뜻은 아니에요.

시행령 제25조는 확인 요청 시 제품·서비스 개요, 개발과 학습에 사용한 데이터 개요, 시스템의 활용 과정과 결과를 확인할 자료, 그 밖의 참고 서류를 제출하도록 해요. 기본 회신 기간은 30일이고, 복잡성 등을 고려해 한 차례 최대 30일 연장할 수 있어요. 결과에 이의가 있으면 회신을 받은 날부터 10일 이내에 재확인을 요청하는 절차도 있어요.

어떤 모델을 사용한다는 정보만으로는 이 자료를 채우기 어려워요. 같은 모델도 누구에게 어떤 목적으로 제공하고 어떤 결정을 맡기는지에 따라 검토할 내용이 달라지기 때문이에요. 확인 절차를 밟는 동안에도 서비스 설계와 데이터 정비 같은 준비를 함께 할 수 있고요. AI기본법 지원데스크의 법령·시행령 안내.

담당자 게시와 기록 보관은 적용 대상부터 확인해요

인공지능기본법 제34조는 고영향 AI 또는 이를 이용한 제품·서비스를 제공하는 사업자에게 위험관리, 설명 방안, 이용자 보호, 사람의 관리·감독, 조치 내용을 확인할 문서 작성·보관 등의 책무를 둬요.

시행령 제27조는 이와 관련한 주요 내용을 사무소·사업장 또는 홈페이지 등에 게시하도록 해요. 위험관리방안, 설명 방안, 이용자 보호 방안과 함께 해당 고영향 AI를 관리·감독하는 사람의 성명과 연락처가 포함돼요. 영업비밀에 관한 예외도 있어요.

저는 담당자의 성명과 연락처라는 항목에서 잠깐 멈췄어요. 어떤 모델을 썼는지보다 운영 과정에서 누가 관리·감독하는지를 이용자가 확인할 수 있어야 한다는 요구로 읽혔어요. 다만 AI를 사용하는 모든 민간기업에 담당자의 이름을 반드시 홈페이지에 공개하라는 규정은 아니에요. 해당 사업자와 서비스에 적용되는 책무인지부터 확인해야 해요.

같은 조문은 조치를 이행한 근거를 문서로 5년간 보관하도록 해요. 이것도 모든 입력과 출력, 개인정보가 담긴 대화 전체를 무조건 5년 저장하라는 뜻으로 확대해서는 안 돼요. 어떤 조치를 입증할 기록이 필요한지, 개인정보와 영업비밀은 어떻게 관리할지 함께 정해야 해요.

별도로 제31조 제1항은 고영향 AI나 생성형 AI를 이용한 제품·서비스를 제공하려는 인공지능사업자에게 AI 기반으로 운용된다는 사실을 이용자에게 사전에 알리도록 해요. 고영향 AI의 관리 책무와 생성형 AI의 고지 의무는 적용 범위가 같지 않아요. 제31조의 사전 고지 의무.

계도기간에도 운영 기록은 남겨두는 편이 좋아요

AI기본법과 시행령은 2026년 1월 시행됐고, 정부는 초기 적응을 위해 최소 1년 이상의 과태료 계도기간을 운영하겠다고 안내했어요. 컨설팅과 비용 지원 등을 통해 의무 이행을 돕는다는 방침도 포함돼 있어요. 정부의 2026년 제도 변경 안내, AI기본법 항목.

계도기간을 개별 의무의 시행일과 같은 것으로 보면 안 돼요. 의무의 적용과 제재 운영 방침을 구분해 확인해야 해요. 법령에 별도의 시행 유예가 있는 조항인지도 따로 봐야 하고요.

실무적으로는 벌금 여부만 따지기보다, 지금 어떤 판단을 했고 어떤 조치를 취했는지 남겨두는 것이 도움이 돼요. 몇 달 뒤 서비스가 바뀌거나 담당자가 교체됐을 때, 당시 결정의 근거를 기억만으로 복원하기는 어려우니까요.

좋은 가이드라인은 실제 업무의 질문에 답해요

제가 가이드라인에서 확인하는 것은 허용 범위, 결정 권한, 평가 기준, 사고 처리예요. 예를 들면 이런 내용을 정할 수 있어요.

질문	정해둘 내용
어떤 일을 맡기나요	초안 작성까지인지, 고객 안내나 실제 실행까지인지
어떤 데이터를 쓰나요	접근 가능한 자료와 외부 전송·보관 조건
누가 확인하나요	승인할 담당자와 확인 없이 실행해도 되는 범위
어떻게 잘됐다고 판단하나요	성공 기준, 오류·예외 기준, 점검 방법
무엇을 기록하나요	결정과 실행을 확인할 기록, 접근 권한, 보관 기간
잘못되면 어떻게 하나요	중단 방법, 수동 처리, 복구 절차와 연락할 사람

이 표는 제가 제안하는 운영 기준이에요. 각 칸을 채웠다고 법적 의무를 모두 이행한 것으로 볼 수는 없어요. 반대로 법령이 특정 방식을 직접 요구하지 않더라도 업무 위험에 따라 필요한 통제를 더 둘 수 있어요.

NIST의 AI 위험관리 프레임워크도 조직의 책임 체계, 사용 맥락 파악, 측정과 위험 관리를 함께 다뤄요. 자발적으로 활용하는 틀이므로 한국 법령과 동일한 내용을 법제화한 것처럼 대응시키기보다는, 우리 조직의 운영을 점검하는 참고자료로 쓰는 편이 맞아요. NIST AI RMF 소개.

작은 시험과 기준 수정을 함께 진행해요

공공기관의 조달·감사 절차를 민간 조직에 그대로 복사할 필요는 없어요. 공개 자료로 내부 초안을 만드는 시험과, 고객 계정이나 결제를 바꾸는 서비스의 준비 수준도 달라야 해요.

저위험 업무에서는 임시 기준으로 작게 시작하고 실제 오류를 보며 고칠 수 있어요. 이때도 데이터의 범위와 결과의 사용처, 문제가 생기면 멈출 사람 정도는 분명히 하는 편이 좋아요. 처음부터 모든 위험을 예상한 두꺼운 문서를 만들려고 하면 시험에서 배울 기회를 놓칠 수 있어요.

기준에는 실제로 행동할 수 있는 내용이 들어가야 해요. “책임 있게 사용한다”만 적기보다는 어떤 상황에서 자동 실행을 멈추고 누구에게 보고할지 정하는 거예요. 수치 기준을 쓴다면 왜 그 수준인지, 어떤 기간과 건수를 기준으로 계산하는지도 함께 정해야 하고요.

모델을 선택한 경험과 평가 자료도 조직에 남는 자산이에요. 제가 가이드라인을 강조하는 이유는 모델 선택이 무의미해서가 아니라, 선택한 모델을 실제 업무에서 어떻게 사용할지까지 결정해야 하기 때문이에요. 모델이 바뀌면 권한과 검증 방식도 다시 점검해야 해요.

이번 주 도입 논의에서는 행동, 데이터, 승인, 복구 네 항목부터 적어보면 좋겠어요. 네 항목이 완성된 규정은 아니지만, 누가 다음 결정을 해야 하는지는 찾을 수 있어요. 저는 그 정도로 구체적인 문서가 있어야 가이드라인이 실제 실행에 도움이 된다고 생각해요.

💬 조직의 AI 도입에서 아직 정하지 못한 것이 있나요? 맡길 업무인지, 데이터 범위인지, 승인과 복구 책임인지 경험을 들려주세요.

참고자료 & 더 읽기

• 행안부, 공공부문 AI 도입·활용 가이드 배포, 2026년 6월 10일
• 인공지능 및 데이터 기반 행정 활성화에 관한 법률 개정문·부칙
• AI기본법 지원데스크의 법률·시행령 자료
• 인공지능기본법 제31조 사전 고지 의무
• NIST AI 위험관리 프레임워크 소개

함께 읽으면 좋은 지난 호

• AI 에이전트를 믿고 맡기기 위해 필요한 조건
• 메타가 장애 대응을 사람에게 맡기는 이유

필자 안광섭 (오스왈드)은 세종대학교 겸임교수, INLEVEL9 전략 컨설턴트입니다. 경력, 연구, 저서와 최신 활동은 저자 소개에서 계속 갱신합니다. 최근 소식 · 2026년 8월: 2026 세종도서 교양부문 우수도서 선정.