사내 데이터와 AI, 어떻게 안전하게 연결할까?
사내 데이터를 AI에 연결해도 안전할까? 기업 RAG와 AI 접근권한 관리 방법
기업이 AI를 실제 업무에 활용하기 시작하면 자연스럽게 사내 데이터와 AI를 연결하게 됩니다. 문서, 매뉴얼, 업무 지식, 프로젝트 자료 등을 AI가 참고할 수 있도록 만들면 훨씬 정확하고 실용적인 결과를 얻을 수 있기 때문입니다.
하지만 동시에 이런 질문이 따라옵니다. “사내 데이터를 AI에 넣어도 괜찮을까?”
지난 8월 26일 진행된 AI 웨비나에서도 RAG 구축 방식과 데이터 보안, 접근 권한, 부서별 AI 서비스 운영과 관련된 질문이 이어졌습니다.
Q. RAG를 구축할 때 고객사마다 별도의 벡터 DB나 스토리지를 사용하나요?
현재 Runyour Agent를 제공할 때는 몬드리안에이아이의 벡터 DB와 스토리지를 사용합니다. 다만 기업의 보안 요건이나 인프라 정책에 따라 별도의 벡터 DB를 사용하거나 고객사 인프라 내부에 구축하는 방식도 협의할 수 있습니다.
기업마다 데이터 보안 정책과 인프라 환경이 다르기 때문에 모든 고객에게 동일한 구조를 적용하기보다는 필요한 보안 수준과 운영 방식에 맞춰 아키텍처를 설계하는 것이 중요합니다.
Q. 부서별로 서로 다른 AI 서비스를 사용한다면 데이터 보안과 접근 권한은 어떻게 관리해야 하나요?
이 문제를 AI팀 하나가 모두 책임지는 방식은 현실적으로 어렵습니다. 기업의 AI 운영에서는 기술뿐 아니라 보안, 개인정보, 현업 업무, 경영 의사결정이 함께 연결되기 때문입니다.
따라서 중앙 AI·IT 조직은 AI 도입 기준과 모델, 서비스, 비용에 대한 기술 표준을 마련하고 보안 조직은 데이터 보안과 개인정보, 접근 권한 정책을 담당하는 방식이 적절합니다. 현업은 실제 업무에 AI를 활용하고 Agent를 운영하며, 경영진은 전사적인 투자와 정책 방향을 결정합니다.
이처럼 중앙에서는 기준과 통제 체계를 만들고 현업에서는 실제 활용을 담당하는 구조가 AI를 조직 전체로 확장하는 데 효과적입니다.
Q. AI 거버넌스는 결국 AI 사용을 제한하는 것 아닌가요?
AI 거버넌스를 단순한 제한이나 통제로 이해하면 현업의 반발을 불러올 수 있습니다. AI 거버넌스의 핵심은 오히려 누가, 어떤 AI를, 어떤 데이터와 함께, 어느 정도 사용할 수 있는지 투명하게 관리하는 것에 가깝습니다.
사용자와 부서별 권한을 관리하고, AI 사용량과 비용을 확인하고, 민감정보 접근을 통제하며, 필요한 경우 Agent 실행에 승인 절차를 두는 것이 대표적인 방법입니다. 즉, AI 거버넌스는 AI 사용을 막기 위한 장치라기보다 기업이 AI를 더 안전하게 확장하기 위한 운영 기반이라고 볼 수 있습니다.
다음 6편에서는 이번 시리즈의 마지막 이야기로, 개인의 AI 활용 능력과 노하우를 어떻게 조직의 자산으로 전환할 것인지를 살펴봅니다.