대용량 내부 문서(PDF/DOCX) 임베딩 검색 정확도 40% 올린 실무 노하우

최근 기업 내부에 축적된 방대한 PDF 및 DOCX 문서를 활용하여 생성형 AI 시스템을 구축하려는 시도가 늘어나고 있습니다. 하지만 단순히 문서를 벡터 데이터베이스에 저장하는 방식만으로는 실제 업무 현장에서 요구하는 수준의 정교한 답변을 얻기 어려운 것이 현실입니다. 검색 증강 생성 기술인 RAG 시스템의 성능은 초기 데이터 전처리 단계부터 검색 알고리즘의 최적화까지 이어지는 전체 파이프라인의 정밀도에 좌우됩니다. 본 글에서는 검색 정확도를 기존 대비 약 40% 향상시킨 실무적 접근법과 기술적 메커니즘을 구체적으로 기술합니다.

1. 데이터 전처리: PDF 레이아웃 분석과 노이즈 제거의 기술적 메커니즘

1.1. 구조적 노이즈(Header/Footer) 정규식 정제 및 Unstructured 라이브러리 활용

대용량 문서 파싱 과정에서 가장 먼저 직면하는 난관은 본문 내용과 무관한 반복적 정보인 구조적 노이즈를 제거하는 일입니다. 문서 상단과 하단에 위치한 페이지 번호, 회사 로고, 문서 보안 등급 등의 텍스트는 임베딩 벡터의 일관성을 해치고 검색 결과의 노이즈를 유발합니다. 이를 해결하기 위해 정규 표현식을 기반으로 한 패턴 매칭 기법을 적용하여 불필요한 메타데이터를 일차적으로 걸러내는 과정이 선행되어야 합니다. 단순히 텍스트를 추출하는 것을 넘어 문서의 논리적 구조를 파악하는 것이 데이터 정제의 핵심이라 할 수 있습니다.

효과적인 레이아웃 분석을 위해 Unstructured 라이브러리를 활용하면 문서 내 제목, 본문, 목록 등의 요소를 시맨틱 단위로 분류할 수 있습니다. 해당 도구는 PDF 내 텍스트 객체의 좌표 값을 분석하여 실제 문서의 가독 흐름에 맞게 데이터를 재구성하는 기능을 제공합니다. 이를 통해 물리적으로 분절된 텍스트 블록을 의미론적 연결성이 유지되는 형태로 통합함으로써 후속 단계인 임베딩 과정의 정확도를 담보합니다. 고품질의 텍스트 데이터 셋을 확보하는 과정은 RAG 시스템 전체 성능의 절반 이상을 결정짓는 중차대한 기초 공사입니다.

1.2. 표(Table) 데이터의 마크다운 직렬화 및 OCR 추출 최적화

기업용 문서에서 중요한 정보는 흔히 표 형식으로 존재하지만, 일반적인 텍스트 추출 방식으로는 표 내부의 행과 열 관계를 보존하기 매우 어렵습니다. 표 데이터를 단순 텍스트로 치환할 경우 데이터 간의 선형적 인과관계가 파괴되어 LLM이 수치 정보를 오독할 가능성이 비약적으로 상승합니다. 이러한 문제를 해결하기 위해서는 추출된 표 데이터를 마크다운 직렬화 방식을 통해 구조화된 텍스트로 변환하는 기술적 처리가 필수적으로 요구됩니다. 마크다운 형식은 표의 헤더와 셀 정보를 명확히 구분해주므로 인공지능이 데이터의 맥락을 파악하는 데 최적화된 형태를 제공합니다.

스캔된 이미지 형태의 PDF나 복잡한 병합 셀이 포함된 표의 경우에는 단순 파싱을 넘어 고도화된 OCR 추출 기술을 병행해야 합니다. 표 영역을 먼저 탐지한 뒤 각 셀의 내용을 텍스트화하고 이를 다시 원래의 격자 구조로 복원하는 파이프라인을 구축함으로써 정보 손실을 최소화합니다. 이 과정에서 발생하는 텍스트 누락이나 오타는 후속 검색 과정에서 치명적인 오류를 유발하므로 정밀한 검수 로직을 적용합니다. 결과적으로 표 데이터의 완벽한 복원은 수치 기반의 질의응답 성능을 혁신적으로 끌어올리는 기폭제가 됩니다.

2. 청킹 및 임베딩: 의미론적 일관성 확보를 위한 세부 전략

2.1. Recursive Character Splitter와 Context Overlap 비율 설정 노하우

문서를 적절한 크기로 분할하는 청킹 과정은 검색 효율성을 결정짓는 핵심적인 설계 단계 중 하나입니다. 고정된 길이를 기준으로 텍스트를 자르는 방식은 문맥의 단절을 초래하므로 Recursive Character Splitter와 같은 계층적 분할 도구를 사용하는 것이 바람직합니다. 이 방식은 문단, 문장, 구두점 등 언어적 구분자를 우선순위에 따라 고려하여 텍스트의 의미적 완결성을 최대한 유지하며 단락을 나눕니다. 의미론적으로 연결된 문장이 서로 다른 청크로 나뉘는 것을 방지함으로써 검색 결과의 품질을 안정적으로 관리할 수 있습니다.

특히 분할된 청크 사이의 맥락적 연결성을 확보하기 위해 10%에서 20% 사이의 Context Overlap 비율을 설정하는 기술적 세밀함이 필요합니다. 오버랩 설정은 이전 청크의 마지막 내용 일부를 다음 청크의 시작 부분에 중복 배치함으로써 정보의 단절 현상을 완화하는 역할을 수행합니다. 실험 결과 오버랩이 전혀 없을 때보다 약 15% 정도의 중첩 구간을 두었을 때 검색 정확도가 유의미하게 향상되는 지표를 확인할 수 있었습니다. 이는 임베딩 모델이 각 텍스트 조각의 전후 맥락을 보다 명확히 이해할 수 있도록 돕는 장치로 작용합니다.

2.2. 도메인 특화 한국어 임베딩 모델(BGE-M3, KoSimCSE) 선정 및 파인튜닝

임베딩 모델의 선택은 검색 엔진의 언어 이해도를 결정하며, 특히 한국어 문서의 특수성을 고려한 모델 선정이 중요합니다. 다국어 모델인 BGE-M3는 대규모 데이터 학습을 통해 광범위한 어휘 대응 능력을 갖추고 있어 범용적인 문서 검색에 탁월한 성능을 보입니다. 반면 한국어 전용 모델인 KoSimCSE는 문장 간의 유사도를 판별하는 데 있어 한국어 특유의 조사나 어미 변화를 정교하게 잡아내는 강점이 있습니다. 프로젝트의 목적과 데이터의 성격에 따라 두 모델의 벤치마크 점수를 비교 검토하여 최적의 임베딩 엔진을 확정해야 합니다.

단순히 공개된 사전 학습 모델을 사용하는 것에 그치지 않고 사내 고유 용어나 기술 용어를 학습시키는 파인튜닝 과정을 거치면 검색 성능을 한 단계 더 높일 수 있습니다. 특정 도메인에서만 사용되는 전문 용어는 범용 임베딩 모델이 의미를 오해할 소지가 많으므로 도메인 맞춤형 학습 데이터 셋을 구축하여 반영합니다. 이러한 미세 조정 과정을 통해 벡터 공간상에서 관련 있는 문서들이 더욱 가깝게 배치되도록 유도함으로써 검색의 정밀도를 극대화합니다. 이는 결과적으로 최종 사용자에게 전달되는 답변의 신뢰도를 높이는 결정적인 요인이 됩니다.

3. 검색 엔진 고도화: 하이브리드 검색과 리랭킹(Re-ranking)의 결합

3.1. BM25 키워드 검색과 Vector 검색을 결합한 하이브리드(Hybrid) 서치 구현

벡터 기반의 밀집 검색(Dense Retrieval)은 의미적 유사성을 파악하는 데 능숙하지만 고유명사나 특정 수치와 같은 정확한 키워드 매칭에는 한계를 보입니다. 이러한 단점을 보완하기 위해 전통적인 키워드 기반 검색 알고리즘인 BM25를 결합한 하이브리드 서치 방식을 도입하는 것이 실무적인 정답입니다. 두 방식의 검색 결과를 하나로 통합하는 과정에서는 RRF(Reciprocal Rank Fusion) 알고리즘을 활용하며 이때 가중치 상숫값 k를 60 정도로 설정하는 것이 안정적인 결과를 도출합니다. 하이브리드 검색의 도입은 고유명사 검색 실패 사례를 기존 대비 약 80% 감소시키는 효과를 가져옵니다.

하이브리드 시스템은 문서 내의 Sparse Retrieval 강점과 Dense Retrieval의 유연성을 동시에 수용하여 검색의 범위를 확장합니다. 단순히 문맥이 비슷한 문서를 찾는 것을 넘어 사용자가 명시적으로 언급한 특정 용어가 포함된 문서를 우선적으로 배치할 수 있기 때문입니다. 이는 특히 전문 지식이 포함된 내부 문서 검색 시 오답률을 낮추는 데 중추적인 역할을 수행하며 시스템의 안정성을 보장합니다. 다양한 검색 기법의 조화로운 결합은 대규모 문서 집합 속에서 바늘을 찾는 것과 같은 고난도 검색 작업을 성공적으로 이끄는 열쇠입니다.

3.2. Cross-Encoder 기반 리랭커(Reranker) 적용을 통한 Recall@5 40% 향상

검색 엔진이 1차로 선별한 상위 문서 리스트를 다시 한번 정밀하게 재배열하는 리랭킹 과정은 검색 성능 극대화의 최종 단계입니다. 1차 검색 단계에서는 속도를 위해 Bi-Encoder 방식을 사용하지만, 리랭킹 단계에서는 연산 비용이 높더라도 정확도가 뛰어난 Cross-Encoder 모델을 적용합니다. Cross-Encoder는 질문과 문서를 한 쌍으로 묶어 직접적인 연관성을 계산하므로 두 텍스트 사이의 의미적 유사도를 가장 정확하게 측정할 수 있습니다. 이 단계를 거치면 상위 5개의 문서 중 정답이 포함될 확률인 Recall@5 지표가 약 40% 이상 비약적으로 향상됩니다.

다만 리랭커 적용 시에는 추론 연산에 소요되는 시간과 정확도 사이의 트레이드오프 관계를 면밀히 고려하여 시스템 부하를 관리해야 합니다. 모든 검색 대상 문서에 대해 리랭킹을 수행하는 것이 아니라 1차 검색으로 걸러진 상위 수십 개의 후보군에 대해서만 한정적으로 적용하는 것이 연산 효율 측면에서 유리합니다. 실무에서는 응답 속도 지연을 최소화하면서도 정확도를 유지할 수 있는 적정 후보군 규모를 설정하는 파라미터 튜닝이 동반되어야 합니다. 리랭킹 기술의 도입은 RAG 시스템이 단순히 그럴듯한 답변을 생성하는 단계를 넘어 근거가 명확한 정보를 추출하도록 만드는 핵심 장치입니다.

결론: RAG 성능의 핵심은 모델이 아닌 데이터 흐름의 정밀도

RAG 시스템의 비약적인 성능 향상은 고성능 언어 모델의 도입만으로 달성되는 것이 아니라 데이터의 유입부터 검색까지의 전체 파이프라인을 얼마나 세밀하게 관리하느냐에 달려 있습니다. 전처리 단계에서의 노이즈 제거와 표 데이터 구조화, 전략적인 청킹과 하이브리드 검색, 그리고 최종 리랭킹으로 이어지는 일련의 과정이 유기적으로 연결되어야 합니다. 지속적인 모니터링을 통해 검색 실패 사례를 분석하고 이를 피드백 루프에 반영하는 운영 관점의 노력 또한 필수적입니다. 데이터의 흐름을 정교하게 제어하는 기술적 정밀도가 뒷받침될 때 비로소 기업 실무에 즉시 투입 가능한 수준의 AI 비서를 완성할 수 있습니다.