이번 2026 삼성 코엑스에서 진행한 AWS 2026 Summit Seoul에 참여하여 해당 후기와 함께 앞으로 AI와 개발자의 방향성에 대한 개인의 생각에 대해 작성하겠습니다.
해당 포스팅은 AWS Summit에 참여하여 세션에 참여하고 세션의 요약및 개인의 생각에 대해 정리하였으며, 시간이 흐름에 따라 내용이 조금 다를 수 있어 해당 내용을 참고하여 읽어주시기 바랍니다.
세션 요약 & 후기
최근 개발과 IT시장에서 제일 많이 보이는 키워드가 AI, LLM, ClaudeCode, Codex 와 같이 LLM 모델을 활용한 AI 서비스이다.
하지만 LLM은 만능이 아니다 라는 말을 들었던 적이 있었던 만큼, AI(LLM)을 도입한다해서 모든 서비스가 최신 기술과 함께 혁신적인 발전을 하는게 아니다.
AI, LLM은 대화형 모델이지 데이터를 읽고, 영상을 분석하고, 이미지를 이해하고, 음성을 듣는 만능 AI 서비스가 아니라
음성,문서,영상,이미지 → 데이터화 (양자화, 백터화) → LLM 을 통한 튜닝 과 같은 과정이 필수적으로 포함되어있어야 한다.
따라서, 기존 서비스에 파인튜닝 학습한 LLM을 도입하는 것은 서비스가 보다 고도화 되는 방향일 순 있지만, 단순한 LLM을 도입한다 해서 만능의 서비스가 되는것은 아니다.
AI 트렌드 리포트: 키워드를 넘어 '맥락(Context)'을 이해하는 엔터프라이즈 AI 도입기
최근 기업들의 화두는 단연 AI입니다. 하지만 단순히 "우리도 챗GPT 같은 걸 도입하자"는 1차원적인 접근을 넘어, 이제는 AI가 우리 데이터의 '맥락'을 이해하고 실질적인 비즈니스 가치를 창출하도록 만드는 고도화 단계에 접어들었습니다.
오늘은 최근 진행된 주요 AI 세션들을 바탕으로, AI 패러다임의 변화와 엔터프라이즈 환경(GS Shop, 미래에셋증권)에서의 실제 성공 사례를 요약해 드립니다.
[기조연설] 만능 AI의 환상과 현실: '데이터화'와 '검증'의 중요성
다양한 인공지능 기술이 나오면서 이를 서비스에 반영하기만 하면 금방이라도 만능 서비스가 될 것 같지만, 실무에서 가장 중요한 핵심은 따로 있었습니다. 바로 기업이 가진 상품이나 지식을 'AI가 이해할 수 있도록 데이터화하고 검증하는 단계'입니다.
문서, 파일, 영상, 음성 등 우리가 다루는 데이터는 매우 다양합니다. 이는 결코 거대한 AI 모델 하나만으로 해결할 수 없으며, 각 데이터 특성에 맞는 여러 전문 서비스 및 API와 유기적으로 통합(오케스트레이션)해야만 진정한 가치를 발휘합니다.
[세션 2] GS Shop 사례: Video-First 시대, 맥락을 읽는 영상 AI 추천
숏폼 플랫폼의 폭발적 성장과 라이브 커머스의 확대로 영상 데이터가 넘쳐나고 있습니다. 이제 소비자들은 제품 검색과 리뷰도 영상으로 확인하는 시대를 살고 있습니다.
1) 기존 방식의 한계
쇼핑몰 특성상 사용자가 특정 영상에 관심을 보였을 때, 영상 속의 어떤 구체적인 요소 때문에 몰입했는지 추적하기가 매우 어려웠습니다. 기존에는 이를 파악하기 위해 관리자가 일일이 수동으로 분석해야 하는 운영상의 한계가 있었습니다.
2) 해결책: '영상 소구 포인트'의 구조화
GS Shop은 단순히 표면적인 단어 추출을 넘어, 생성형 AI를 활용해 영상의 전체적인 맥락을 파악하고 사용자가 실제로 반응했을 만한 핵심 메시지인 '소구 포인트(Selling Point)'를 도출했습니다.
- 영상 이해 단계 (Pegasus 모델 사용): 영상의 시각적 내용과 시간적 흐름을 분석하여 전반적인 맥락을 파악합니다.
- 소구 포인트 추출 단계 (Claude Sonnet 모델 사용): 고객 반응을 유도한 핵심 메시지를 언어적으로 구조화합니다.
- 임베딩 및 유사 맥락 검색 (Cohere Embed & 코사인 유사도 알고리즘): 텍스트 소구 포인트를 고차원 벡터로 변환하여, 사용자의 시청 의도와 가장 유사한 맥락을 가진 상품이나 영상을 매칭합니다.
💡 핵심 인사이트 단순히 이름이 비슷한 상품을 추천하던 과거 방식에서 벗어나, 사용자가 이 상품을 '왜' 찾았는지 상황과 의도(Context)에 맞게 필요한 상품을 제안하는 지능형 서비스로 진화했습니다.
[세션 3] 미래에셋증권 사례: GraphRAG 기반의 상품지식 DB 구축
미래에셋증권은 사내 데이터(업무매뉴얼, 사규)와 마켓 데이터(뉴스, 공시)를 AI 에이전트가 활용할 수 있도록 'AI Ready Data' 환경을 구축하는 과정에서 기존 RAG 시스템의 명확한 한계를 마주했습니다.
1) 일반 RAG의 한계
기존 RAG는 단순 단어 검색은 빠르지만, 문서 전체의 전역적인 맥락을 파악하지 못하고 고차원적인 관계 추론이 불가능했습니다. 이로 인해 사용자 의도와 전혀 다른 결과나 노이즈가 발생하는 문제가 있었습니다.
2) GraphRAG와 엔티티 정규화(Entity Resolution)
이를 해결하기 위해 지식을 네트워크(그래프) 형태로 연결해 LLM이 깊이 있게 추론하도록 만드는 GraphRAG를 도입했습니다. 이 과정에서 동의어나 유사어가 파편화되는 것을 막기 위해 5단계 프로세스를 거쳤습니다.
- 1단계: 사전 정규화 (표준 분류 사전 적용)
- 2단계: 규칙 기반 매칭 (한/영 공의어 변환)
- 3단계: 유사도 기반 매칭 (유사도 기준 병합)
- 4단계: 개체(Entity) 표준화
- 5단계: 관계(Relation) 정규화 맵 구축
3) 최종 휴먼 검증 (Human-in-the-Loop)
AI 기반의 지식 그래프 구축과 LLM 학습이 끝난 후에도, 데이터의 정확성을 완벽히 보장하기 위해 최종 단계에서 현업 매니저(사람)의 검증 단계를 거쳤습니다. 이 검증 데이터는 다시 LLM의 피드백 학습 데이터로 활용되는 선순환 구조를 만듭니다.
💡 핵심 인사이트 이를 통해 "정확한 키워드가 없어도 카테고리 검색이 가능하게 해달라", "투자 대상, 자산, 보수율 등을 한 번에 요약해달라" 등 현업 직원들의 다차원적이고 복잡한 요구사항을 완벽히 충족하는 AI 시스템을 완성했습니다.
[세션 4] 빗썸 사례: 생성형 AI의 안전한 사내 도입 및 보안 거버넌스
금융 및 가상자산 거래소인 빗썸은 개발자들의 업무 생산성을 높이기 위해 AI 코딩 어시스턴트(Claude Code 등)를 도입하고자 했으나, 코드 유출과 비용 통제라는 거대한 보안 장벽에 부딪혔습니다.
1) 빗썸의 AI 보안 거버넌스 3대 기준
- 데이터 프라이버시 및 격리: 프롬프트와 응답이 인터넷으로 나가지 않아야 하며, AI 벤더가 사내 데이터를 모델 학습에 절대 재사용하지 못하도록 제한 (Zero Data Retention)
- 인프라/네트워크 보안: AWS Direct Connect(전용선)와 PrivateLink를 결합하여, 인터넷 경유가 없는 전용 폐쇄망 경로로만 AI를 호출
- 접근 제어: 사내 SSO 및 OAuth2 인증 체계를 결합하여 인가된 단말과 계정만 접근 허용
2) 자체 'LLM Gateway' 구축과 중앙 통제
빗썸은 개발자 디바이스와 AI 플랫폼(Amazon Bedrock) 사이에 자체적인 'LLM Gateway'를 구축하여 무분별한 API 호출을 차단하고 4가지 핵심 기능을 수행하도록 했습니다.
- API 호환성: 기존 개발 툴 설정에서 주소(URL)만 사내 게이트웨이로 바꾸면 즉시 연동되도록 지원
- 인증 통합: 사내 JWT 토큰 및 SSO 연동 체계 탑재
- 모델 라우팅: 허용된 안전한 모델로만 연결 및 장애 시 자동 우회(폴백) 처리
- 비용 관리: 팀, 팀원, 개인별로 3계층 예산 한도를 설정하여 무분별한 토큰 사용과 비용 폭증 방지
3) SIEM 기반의 통합 관제 및 포렌식
보안 사고 예방과 사후 추적을 위해 모든 로그를 실시간으로 중앙 SIEM(보안 정보 이벤트 관리) 시스템에 연동했습니다.
- Amazon CloudWatch를 통한 Bedrock 호출 전체 로그 수집
- AWS CloudTrail을 통한 API 호출 이력 로깅
- Amazon Bedrock Guardrails를 활용한 유해 콘텐츠 차단 및 감지 로그 기록
💡 핵심 인사이트 빗썸은 일반적인 SaaS 구독 방식 대신 기존 사내 보안 통제 체계를 그대로 재사용할 수 있는 Amazon Bedrock 환경을 선택함으로써, 기술 변화에 유연하게 대응하면서도 완벽하게 통제 가능한 '제로 트러스트' AI 환경을 구축했습니다.
세 비즈니스 사례가 보여주는 공통된 메시지는 명확합니다. 거대하고 똑똑한 AI 모델 하나가 모든 비즈니스 문제를 해결해 주지 못한다는 점입니다.
성공적인 AI 서비스 도입의 핵심은 다음과 같습니다.
- 우리 회사가 가진 데이터(문서, 영상, 음성 등)를 AI가 오차 없이 소화할 수 있도록 정교하게 데이터화(정규화) 하고,
- 모델이 뱉어내는 결과물을 도출된 데이터와 대조하며 끊임없이 검증(휴먼 검증 및 보안 로깅) 해야 하며,
- 다양한 전문 AI 모델과 레거시 시스템을 유기적으로 엮어내는 통합(Orchestration) 아키텍처를 설계하는 것입니다.
결국 AI 시대의 진정한 기술 경쟁력은 모델 그 자체보다, 기업의 자산을 AI에 얼마나 안전하고 영리하게 공급하느냐에 달려 있습니다.