최근 LLM을 이용하는 분야 중, 기업이나 소규모 개발사에게 도움이 된 것은 RAG이였습니다.
하지만, 2025년 상반기 구글은 자신들의 고객사들의 시장에 침범한 서비스를 출시하였습니다.
바로 NotebookLM입니다.
즉 새로운 것은 없습니다.
단지 소규모로 개발되는 것을 조합하여, 하나의 서비스를 제작한 것으로, 뭔가 선전하는 것이 목적인 것 같습니다.
이는 RAG의 대부분이 Chatbot형태의 서비스를 하기에, 서비스를 공개하는 시점에 관련 기능이나 API가 있어야 하는데, 2025년 4월말까지 이에 대한 기술이 없습니다.
즉, 구글은 자신들의 서버를 이용하는 고객사의 사업 영역에 들어왔다는 것입니다.
구글은 다른 회사들과 차이는 뭘까? 바로 자체에서 개발한 LLM과 대규모 GPU서버를 보유하고 있다는 것입니다.
이번 글은 구글 자료에서 구분하는 2가지 유형을 비교하고자 합니다.
1. RAG (Retrieval-Augmented Generation)
정의:
RAG는 **Retrieval-Augmented Generation (검색 증강 생성)**의 약자입니다. 이는 대규모 언어 모델(LLM)이 학습된 데이터 외부에 있는 특정 정보를 검색하여 답변을 생성하는 기술 또는 아키텍처를 의미합니다. LLM은 방대한 데이터를 학습하지만, 특정 시점 이후의 최신 정보나 특정 도메인에 대한 전문 지식, 또는 사내 데이터와 같은 비공개 정보는 학습하지 못할 수 있습니다. RAG는 이러한 한계를 극복하기 위해, 질문이 들어오면 먼저 관련성 높은 정보를 외부 지식 기반(문서, 데이터베이스, 웹 등)에서 “검색(Retrieval)”하고, 검색된 정보를 LLM에 “컨텍스트”로 제공하여 더 정확하고 사실적이며 최신성 있는 답변을 “생성(Generation)”하도록 돕습니다.
주요 특징:
- 외부 지식 활용: LLM의 사전 학습 데이터 외의 최신 정보, 도메인 특화 정보, 사내 데이터 등을 활용합니다.
- 환각(Hallucination) 감소: LLM이 사실과 다른 정보를 생성하는 ‘환각’ 현상을 줄이는 데 효과적입니다.
- 비용 효율성: 모델을 재학습(Fine-tuning)하거나 처음부터 학습시키는 것보다 훨씬 비용 효율적입니다.
- 투명성 및 설명 가능성: 답변의 근거가 되는 외부 문서나 출처를 제시할 수 있어 답변의 신뢰도를 높입니다.
- 구성 요소: 일반적으로 쿼리에서 관련 문서를 검색하는 검색기(Retriever)와 검색된 정보를 바탕으로 응답을 생성하는 생성기(Generator, 즉 LLM)로 구성됩니다. Vector Database 등을 활용하여 문서를 임베딩하고 검색합니다.
일반적인 사용 사례:
- 기업 내부 지식 Q&A 시스템
- 최신 뉴스 또는 실시간 데이터 기반 답변
- 법률, 의학 등 특정 도메인 전문 정보 제공
- 챗봇의 정확성 및 신뢰도 향상
1-1. Local RAG
정의:
“Local RAG”는 위에 설명된 RAG 아키텍처를 로컬 환경, 즉 개인 컴퓨터나 조직의 자체 서버 내에서 구현하고 실행하는 것을 의미합니다. 일반적인 RAG가 클라우드 기반의 LLM 서비스나 대규모 인프라를 활용할 수 있는 반면, Local RAG는 모든 구성 요소(LLM, 벡터 데이터베이스, 검색기 등)를 로컬에서 운영합니다.
주요 특징:
- 데이터 프라이버시 및 보안: 민감하거나 기밀한 데이터를 클라우드에 올릴 수 없는 경우에 특히 유용합니다. 모든 데이터 처리가 로컬 환경에서 이루어지므로 외부 유출 위험이 적습니다.
- 비용 관리: 클라우드 서비스 사용료를 절감할 수 있습니다.
- 오프라인 접근성: 인터넷 연결 없이도 RAG 시스템을 사용할 수 있습니다.
- 맞춤화 및 제어: 시스템의 모든 부분을 직접 제어하고 맞춤화할 수 있습니다.
- 성능 제약: 일반적으로 클라우드 기반의 대규모 LLM에 비해 로컬에서 구동되는 LLM의 성능(모델 크기, 추론 속도 등)이나 처리량에 제약이 있을 수 있습니다. 하드웨어 사양(CPU, GPU, RAM)에 크게 의존합니다.
- 설치 및 관리 복잡성: LLM, 벡터 데이터베이스, RAG 파이프라인 등을 직접 설정하고 관리해야 하므로 기술적인 지식이 요구될 수 있습니다. Ollama, Llama.cpp, LangChain 등의 오픈소스 도구가 활용될 수 있습니다.
일반적인 사용 사례:
- 개인 연구 및 학습 (예: 개인 문서 요약, 논문 분석)
- 엄격한 데이터 보안 정책이 있는 기업의 내부 시스템
- 오프라인 환경에서의 AI 기반 도구 개발
1-2. NotebookLM
정의:
NotebookLM은 Google에서 개발한 개인화된 AI 학습 및 리서치 도구입니다. 사용자가 자신의 문서(Google Docs, PDF, 웹페이지, YouTube 동영상, 오디오 파일 등)를 업로드하면, NotebookLM이 그 문서들을 분석하고 요약하며, 질문에 답변하고, 새로운 콘텐츠를 생성하는 등 다양한 방식으로 사용자의 정보 이해를 돕습니다. 본질적으로 NotebookLM은 Google의 LLM(Gemini 모델)을 기반으로 하며, 사용자가 업로드한 문서를 **컨텍스트(Context)**로 활용하는 일종의 RAG 시스템이라고 볼 수 있습니다. 즉, 사용자가 제공한 소스(Source)를 “외부 지식”으로 삼아 LLM의 답변을 보강하는 방식입니다.
주요 특징:
- 사용자 친화적인 인터페이스: 개발 지식이 없어도 쉽게 사용할 수 있도록 설계된 직관적인 UI를 제공합니다.
- 개인화된 지식 기반: 사용자가 직접 업로드한 문서에 기반하여 작동하므로, 개인의 연구나 프로젝트에 특화된 답변을 제공합니다.
- 다양한 소스 지원: 텍스트 파일뿐만 아니라 PDF, Google 문서, 웹 URL, YouTube 동영상 스크립트, 오디오 파일 등 다양한 형식의 소스를 처리할 수 있습니다.
- 생산성 향상 기능: 요약, 질문-답변, 아이디어 생성, 브리핑 문서, 스터디 가이드, 심지어 팟캐스트 요약 생성 등 다양한 AI 기반의 생산성 도구를 제공합니다.
- 출처 제시: 생성된 답변의 근거가 되는 원본 문서의 특정 부분을 인용(citation)으로 제공하여 답변의 신뢰도를 높이고 사용자가 원본을 쉽게 확인할 수 있도록 합니다.
- 클라우드 기반: Google이 제공하는 클라우드 서비스로, 사용자의 데이터는 Google의 서버에서 처리됩니다.
- 제한된 제어: 로컬 RAG처럼 LLM 자체나 파이프라인의 세부적인 부분을 직접 제어하거나 맞춤화할 수는 없습니다.
일반적인 사용 사례:
- 학생의 학습 자료 요약 및 질문 답변
- 연구자의 논문 분석 및 요약, 아이디어 구상
- 작가의 자료 조사 및 스토리 구상
- 기획자의 회의록 요약 및 브리핑 문서 생성
- 개인의 독서 자료 관리 및 이해 증진
개념 비교 요약
| 특징/개념 | RAG (Retrieval-Augmented Generation) | Local RAG | NotebookLM |
| 개념 유형 | LLM의 한계를 보완하는 기술/아키텍처 | RAG 아키텍처의 구현 방식(로컬 환경) | Google에서 제공하는 AI 기반 개인 생산성 도구 (RAG 기술 활용) |
| 목표 | LLM의 답변 정확성 최신성 사실성 향상 | 데이터 프라이버시 보안 비용 통제 오프라인 사용 | 사용자 개인의 정보 이해 및 생산성 증진 |
| 구현 방식 | – 클라우드 또는 온프레미스 – 다양한 LLM, 검색기, DB 조합 가능 | – 개인 PC 또는 사내 서버 – 오픈소스 LLM, 로컬 DB 활용 | – Google 클라우드 기반 서비스 – Google Gemini LLM 및 내부 기술 |
| 데이터 처리 | 외부 지식(DB, 문서 등)을 LLM 컨텍스트로 활용 | 모든 데이터 처리 및 저장이 로컬에서 이루어짐 | 사용자가 업로드한 문서 및 자료를 클라우드에서 처리 및 저장 |
| 프라이버시/보안 | 구현 방식에 따라 다름 (클라우드 사용 시 고려 필요) | 매우 높음 (데이터 유출 위험 최소화) | Google의 보안 및 개인정보처리방침 따름 |
| 비용 | LLM API, DB 사용료 등 발생 가능 | 초기 하드웨어/설치 비용, 이후 운영 비용 절감 | 기본적으로 무료 (향후 유료화 가능성) |
| 성능/제한 | 고성능 LLM 및 인프라 활용 가능 | 하드웨어 사양에 따라 성능 제한, 대규모 처리 어려움 | 클라우드 기반으로 안정적인 성능, 처리 용량 제한 있음 (예: 50개 소스, 2500만 단어) |
| 사용 편의성 | 개발 지식 필요 (기술 스택 설정, 파이프라인 구축) | 개발 지식 및 시스템 관리 능력 필요 | 매우 높음 (직관적인 UI, 개발 지식 불필요) |
| 주요 사용자 | AI 개발자, 데이터 과학자, 기업 | 개인 개발자, 보안이 중요한 기업/연구소 | 학생, 연구자, 작가, 기획자 등 일반 사용자 |
(2025/05/15 추가)
NotebookLM은 note를 기준으로 파일과 대화를 하도록 되어 있습니다.
note는 정확한 자료가 공개되어 있지 않지만, 대략 50개까지 추가할 수 있는 것으로 알려져 있습니다.
(이는 향후 사용량에 따라 제한을 줄 수 있음으로 유료를 사용하라는 것 같습니다.)
한 note에는 소스(PDF파일, mp3등)를 10개까지 50개까지 추가할 수 있다고 하지만, 어느 자료에서 50만자, 80MB로 제한이 있다고 합니다.
(또 말하지만, 급히 서비스를 내 놓는 바람에, 서비스의 규격을 정하지 못 한 것입니다.)
음성 생성은 무료는 1일 3회까지만 가능하고, 채팅의 질의 회수는 50회까지만 가능하지만, 유료는 5배보다 많다고만 합니다.
(모든 수치는 서비스 운영에 따라 변경될 수 있습니다.)
대답하는 스타일 기능이나, 공유 기능은 유료에만 있습니다.
또한, 교육과정에서 발견된 것이지만, PDF 파일를 사용할 때 오류가 발생됩니다(명확하지 않음).
모든 파일은 pdf로 출력하여 사용하시는 것을 추천합니다.
물론 Local-RAG를 사용하면, 제한이 되지 않지만, 업무용으로는 5만달러 넣는 서버를 설치, 유지 할 생각의 없으시면, 유료 서버나 이런 서비스를 활용하시는 것이 좋습니다.
윤영기 (YOON, Young-Ki)
KOREA
newton@eqboard.com
neoy2g@hotmail.com