AI 서비스를 만들 때 중요한 것은 모델의 성능만이 아닙니다. 사용자의 말을 정확히 이해하고, 문서에 있는 근거로 답변하며, 데이터가 늘어나도 빠르게 작동해야 합니다. 이번 블로그에서는 이러한 과제를 해결하는 세 가지 기술을 소개하겠습니다. 음성 에이전트용 음성 인식 모델, RAG의 답변 가능성 검증, 그리고 벡터 데이터베이스의 검색 전략입니다.
음성 AI, 자연스러운 대화보다 정확한 인식이 먼저다
음성 에이전트는 고객 상담이나 예약 접수처럼 사람의 말을 듣고 업무를 처리하는 AI입니다. 하지만 대화가 자연스럽더라도 이름이나 예약번호를 잘못 알아들으면 실제 업무에서는 문제가 생깁니다. Speechmatics Linden은 이런 오류에 초점을 맞춘 음성 인식 모델입니다. 강한 억양, 주변 소음, 비원어민의 발음, 고유명사, 문자와 숫자가 섞인 식별번호 등이 주요 대응 대상입니다.
설명에 따르면 55개 이상의 언어에서 실시간 음성 인식을 지원하며, 발화 종료 신호가 전달된 뒤 약 250밀리초 안에 최종 인식 결과를 제공합니다. 이름이나 상품명, 산업별 전문용어를 등록하는 사용자 사전도 지원한다.
금융 상담에 적용한다면 고객 이름, 금융상품명, 전문용어 등을 정확하게 인식하는 데 활용할 수 있습니다. 다만 도입 효과는 실제 상담 녹음과 업무 용어를 이용해 확인해야 합니다. 음성 AI의 가치는 말을 듣는 능력과 업무에 필요한 정보를 정확히 구분하는 능력에서 나온다.
RAG의 과제: 관련 문서가 있다고 답할 수 있는 것은 아니다
RAG는 AI가 외부 문서를 검색하고, 검색한 내용을 참고해 답변하도록 만드는 방식입니다. 일반적으로 문서를 작은 조각으로 나누고, 각 조각을 의미를 표현하는 숫자 벡터로 변환해 저장합니다. 질문이 들어오면 의미가 가까운 문서 조각을 찾아 LLM에 전달한다.
여기에 재순위화 모델인 ‘리랭커’를 추가하면 검색 결과를 질문과 관련성이 높은 순서로 다시 정렬할 수 있습니다. 하지만 여기에는 중요한 구분이 있다.
질문과 관련 있는 문서와 질문에 답할 근거가 있는 문서는 다르다.
예를 들어 “대안신용평가모형의 승인 요건은 무엇인가?”라는 질문에 정책 추진 방향을 설명하는 문서가 검색될 수 있습니다. 주제는 관련 있지만, 구체적인 승인 요건이 없다면 답변의 근거로는 부족합니다. AI가 이 차이를 놓치면 문서에 없는 내용을 그럴듯하게 작성할 수 있다.
Jev + RAG는 답변 전에 근거를 평가한다
Jev를 활용해 검색된 문서가 실제로 답변에 도움이 되는지 평가하는 방식을 소개합니다. 각 문서 조각을 대상으로 “이 내용이 질문에 답하는 데 도움이 되는가?”를 판단하고, 애플리케이션이 설정한 기준을 넘는 결과만 LLM에 전달하는 구조입니다. 남은 근거 전체가 답변에 충분한지도 평가할 수 있다고 설명합니다.
근거가 부족하면 답변 생성을 생략하고 “문서에서 확인할 수 없습니다”라고 응답하도록 구성할 수 있습다.
다만 판단 점수가 높다고 사실성이 자동으로 보장되는 것은 아닙니다. 실제 업무 질문을 이용해 평가 정확도와 기준값을 검증해야 합니다. 또한 처음부터 검색되지 않은 문서는 Jev도 평가할 수 없으므로 검색 품질은 여전히 중요합니다.
금융 규정 검색이나 내부 보고서 작성에서는 이러한 접근이 특히 유용할 수 있다. 확인된 내용과 추가 확인이 필요한 내용을 구분하면 결과물을 검토하기가 쉬워지기 때문입니다.
3. 벡터 검색, 데이터가 많아질수록 검색 방식이 중요하다
RAG가 사용하는 벡터 데이터베이스는 질문과 의미가 가까운 문서를 찾습니다. 가장 단순한 방법은 저장된 모든 벡터와 질문 벡터를 하나씩 비교하는 것입니다. 그러나 데이터가 수백만 건으로 늘어나면 비교에 필요한 시간과 연산량도 커집니다. 벡터 인덱스는 검색 범위를 줄이거나 데이터를 압축해 이 부담을 낮춥니다.
주요 다섯 가지 방식은 다음과 같다.
| 검색 방식 | 핵심 원리 | 주요 특성 |
|---|---|---|
| Flat | 모든 벡터를 비교 | 정확한 검색이 가능하지만 데이터가 많으면 느려진다 |
| IVF | 벡터를 군집으로 나누고 가까운 군집만 검색 | 검색할 군집 수로 속도와 재현율을 조절한다 |
| HNSW | 여러 층의 그래프를 따라 가까운 벡터 탐색 | 빠른 검색과 높은 재현율을 기대할 수 있지만 추가 메모리가 필요하다 |
| IVF-PQ | 군집 검색과 벡터 압축을 결합 | 메모리와 연산량을 줄이는 대신 일부 검색 품질을 양보한다 |
| ScaNN | 데이터 분할·압축 평가·정밀 재평가를 결합 | 대규모 데이터의 효율적인 검색을 지향한다 |
여기서 재현율은 ‘찾아야 할 가까운 결과를 얼마나 놓치지 않고 찾는가’를 뜻합니다.
인덱스 선택에는 하나의 정답이 없습니다. 데이터 규모, 응답 속도, 메모리 예산, 검색 품질을 함께 고려해야 합니다. 특히 RAG에서는 검색 속도만 측정할 것이 아니라, 검색 방식의 차이가 최종 답변 품질에 어떤 영향을 주는지도 확인해야 합니다.
금융 컨설팅 관점에서 생각해 볼 활용 방향
세 가지 기술은 서로 다른 문제를 해결하지만 하나의 업무 흐름으로 연결할 수 있습니다. 음성 인식은 상담 내용을 텍스트로 바꾸고, 벡터 검색은 관련 규정과 상품 설명을 찾는다. 근거 검증은 검색된 내용으로 답변할 수 있는지 확인합니다. 이후 LLM이 상담 답변 초안이나 업무 보고서를 작성하는 구조입니다.
내부 보고서 작성에도 같은 원리를 적용할 수 있습니다. 기존 산출물과 고객 자료를 검색하되, 질문과 관련 있다는 이유만으로 내용을 사용하지 않고 해당 주장에 충분한 근거가 있는지 확인하는 것입니다.
이때 평가 지표도 업무 목적과 연결해야 합니다. 음성 인식은 이름·번호·전문용어의 오류율을, RAG는 근거가 부족한 질문에 적절히 응답을 보류하는 비율을, 검색 시스템은 응답 시간과 검색 품질을 함께 살펴볼 수 있습니다.
AI 엔지니어링의 목표는 업무 성과다
기술들의 실무적 의미는 결국 비용 절감, 업무 효율 향상, 서비스 품질 개선으로 연결될 때 드러납니다. AI를 도입할 때도 같은 기준이 필요합니다. 얼마나 유창하게 답하는지뿐 아니라, 중요한 정보를 정확히 인식하는지, 근거가 부족할 때 답변을 보류하는지, 실제 업무량을 감당할 수 있는지를 확인해야 합니다.
정확히 듣고, 근거를 확인하고, 필요한 정보를 빠르게 찾는 것. 실무에 쓰이는 AI는 이 기본기를 갖추는 데서 시작합니다.