AI 비용과 보안 노출 문제는 이제 통제 범위를 벗어나고 있습니다.
이를 흔히 섀도우 AI라 부르며, 대부분의 거버넌스는 이 속도를 따라가지 못하고 있습니다. 엔터프라이즈 AI Gateway로 다시 통제권을 되찾는 방법을 라이브 데모로 확인하세요.
대부분의 조직은 현재 AI를 어떻게 사용하고있는지 파악하지 못하고 있습니다 – 승인되지 않은 LLM 호출, 예고 없이 급증하는 API 비용, 검증되지 않은 모델을 통해 유출되는 민감 데이터가 그 예입니다. 이를 흔히 섀도우 AI라 부르며, 대부분의 거버넌스 체계는 이 속도를 따라가지 못하고 있습니다.
이번 웨비나에서는 엔터프라이즈 AI Gateway가 실제로 해결해야 할 과제에 대해 이야기 합니다. 멀티 LLM 라우팅, 토큰 기반 사용량 제한, 그리고 시맨틱 캐싱을 활용한 비용 및 보안 통제 체계입니다. LLM 장애 상황에서의 모델 전환과 페일오버를 실제 데모로 보여드리고, 국내 기업들이 이 문제에 어떻게 접근하고 있는지, 사례와 함께 살펴봅니다.
섀도우 AI와 통제되지 않는 API 비용
엔터프라이즈 AI Gateway가 갖춰야 할 핵심 요건
LLM 장애 시 모델 전환 및 페일오버, 토큰 기반 사용량 제한, 시맨틱 캐싱
국내 기업과 Kong 고객사의 실제 대응 방식
GS Lee
Staff Solutions Engineer, Kong
AI 생태계 선도 기업인 Kong에서 기술 전문가로, Kong의 기술을 사용자 환경에 맞게 적용하여 가치를 만들어내는데 집중합니다. LLM 및 GPU 리소스를 안전하고 효율적으로 연결하는 AI 게이트웨이와 서비스간 안전한 고성능 연계를 위한 API 게이트웨이를 다룹니다. 비용 관리, 보안, 멀티모델 라우팅 등 핵심 엔지니어링 과제를 해결하고 복잡한 기술 개념을 사용자가 이해할 수 있도록 설명하고 공감하는 엔지니어 입니다.
