AI · 로컬 LLM

사내 지식을 검색하고 활용하는 온프레미스 AI

사내 문서 검색과 질의응답, 규정·매뉴얼 확인, 문서 요약에 활용할 수 있는 AI 시스템을 구축합니다. 민감한 데이터가 외부로 나가지 않는 로컬 LLM 구성을 기본으로, 데이터 준비부터 검색·응답·운영까지 설계합니다.

데이터의 경계부터 설계합니다
모델을 고르기 전에 문서 원본·색인·임베딩·로그의 저장 위치와 접근 범위를 정합니다. 문서 민감도와 사용자의 권한을 기준으로 어떤 정보를 처리하고 보여줄지 합의합니다.

문서의 구조를 보존합니다
표·조항·각주가 섞인 자료는 텍스트 추출만으로 의미를 온전히 전달하기 어렵습니다. OCR과 레이아웃 분석을 통해 문서 구조를 복원하고, 근거가 끊기지 않도록 분할합니다.

질문에 맞는 검색을 조합합니다
식별번호와 정확한 표현을 찾는 키워드 검색, 유사한 의미를 찾는 벡터 검색을 함께 사용합니다. 두 결과를 순위 융합으로 합치고 리랭커로 재정렬하는 구성을 기본으로, 데이터와 질의 특성에 맞게 조정합니다.

근거가 부족하면 응답을 제한합니다
검색 결과의 관련도를 확인하고, 기준을 충족하지 못하면 답변을 보류하도록 설계합니다. 응답에는 출처를 표시하며, 근거 검증과 응답 제한으로 잘못된 답변의 위험을 줄입니다.

같은 기준으로 개선을 확인합니다
평가용 질의 집합으로 검색 품질·근거 정합성·응답 지연을 측정합니다. 조정 전후를 같은 조건으로 비교하고 인수 시점의 측정 결과와 운영 기준을 함께 제공합니다.

구축 범위와 결과물
- 문서 수집·정규화·OCR·색인 파이프라인
- 하이브리드 검색과 출처 기반 질의응답
- 로컬 LLM 추론 서버와 GPU 자원 구성
- 데이터 흐름·접근 범위 구성도
- 평가 결과와 운영·유지보수 가이드

외부 모델 연계가 필요한 경우
데이터의 민감도와 업무 목적에 따라 로컬 모델과 외부 모델을 나눠 사용할 수 있습니다. 외부로 전달할 수 있는 정보의 범위를 먼저 정하고, 허용된 데이터에 한해 연계합니다.

Metatrance Reference Architecture

우리가 쓰는 기본 구조

Fig. 1데이터의 경계와 처리 흐름

구현 전에 원문·색인·임베딩·로그의 저장 위치와 접근 범위를 합의합니다. 아래는 개념 구성도이며, 실제 데이터 흐름과 외부 모델 연계 여부는 프로젝트의 보안 정책에 맞게 결정합니다.

Fig. 2검색기를 하나만 쓰지 않는 이유

고유명사·식별번호를 찾는 질문과 의미가 유사한 내용을 찾는 질문은 검색 특성이 다릅니다. 병렬 검색 → 순위 융합 → 재정렬을 기본 구성으로 두고, 실제 질의 집합의 평가 결과에 따라 조정합니다.

Table 1인수 시점에 기준선을 남긴다

표를 좌우로 밀어 평가 항목을 확인하세요.

지표	정의	무엇을 보는가	조정 대상
Recall@k	상위 k 개 안에 정답 근거가 포함된 비율	검색이 근거를 가져오는가	분할 길이 · 중첩 · k
MRR	정답 근거의 역순위 평균	근거가 «위쪽»에 오는가	리랭커 · 융합 상수
Faithfulness	응답 문장이 근거에 의해 지지되는 비율	모델이 지어내지 않는가	프롬프트 제약 · 임계값
Latency p95	질의–응답 지연의 95분위	운용 가능한 속도인가	배치 · 양자화 · k

아래는 평가 항목과 검증 방법입니다. 특정 프로젝트의 측정 성능을 뜻하지 않습니다. 평가용 질의 집합과 산정 방법을 정하고, 인수 시점의 결과를 기준으로 개선 전후를 비교합니다.

Related work

각 프로젝트의 실제 담당 범위는 상세에서 확인할 수 있습니다.

다른 사업영역

Next, your project

아직 구체적인 기획이 없어도 좋습니다.
현재 상황과 목표를 바탕으로 시작할 지점을 함께 찾겠습니다.