파인튜닝부터 배포까지, 내가 만드는 sLLM!
최근 AI 시장에서는 LLM과 함께 비용 효율성과 보안성을 갖춘 sLLM이 기업 AI의 새로운 선택지로 주목받고 있습니다. sLLM은 적은 연산 자원으로도 높은 성능을 제공하며, 기업 내부망이나 에지 디바이스에 안전하게 배포할 수 있어 비용과 보안 측면에서 큰 강점을 갖습니다.
이 책은 이러한 sLLM을 활용해 나만의 맞춤형 AI를 직접 구축하는 국내 실습서로, 산업 동향부터 오픈소스 모델 활용, 데이터 전처리, LoRA·QLoRA 기반 경량 파인튜닝, 양자화, RAG 구축까지 핵심 기술을 체계적으로 다룹니다. 또한 단순히 모델을 학습하는 데서 끝나지 않고, FastAPI와 Gradio를 활용한 서비스 구현, ngrok과 허깅페이스 스페이스를 이용한 배포까지 실제 서비스 개발의 전 과정을 실습할 수 있도록 구성했습니다. 모든 예제는 무료 구글 코랩 환경에서 그대로 실행할 수 있으며, 한국어에 최적화된 모델을 우선 사용해 실무 활용도를 높였습니다.
이론을 넘어 기술의 원리와 활용 방법까지 이해하며, 거대 AI의 사용자가 아닌 내 데이터로 직접 AI를 만들고 운영하는 엔지니어로 성장하고 싶은 개발자와 실무자에게 든든한 길잡이가 되어줄 것입니다.
1장 LLM과 sLLM
1.1 LLM 알아보기
__1.1.1 LLM 개념과 동작 원리
__1.1.2 LLM의 주요 기술
__1.1.3 LLM의 대표 모델
1.2 sLLM 알아보기
__1.2.1 sLLM의 개념
__1.2.2 sLLM의 배경과 필요성
__1.2.3 sLLM이 해결할 수 있는 문제
1.3 sLLM의 대표 모델
2장 sLLM을 활용한 산업별 사례 분석
2.1 산업별 동향
2.2 도메인별 동향
__2.2.1 의료 산업
__2.2.2 공공/행정
__2.2.3 금융
__2.2.4 교육
__2.2.5 법률
__2.2.6 유통/이커머스
__2.2.7 제조/산업
2.3 스타트업, 기업, 연구 기관에서의 활용 사례
__2.3.1 스타트업
__2.3.2 대기업
__2.3.3 연구 기관
2.4 LLM 모델 vs sLLM 장단점
__2.4.1 LLM 모델
__2.4.2 sLLM 모델
3장 sLLM 모델 트렌드와 최신 동향
3.1 국내외 시장 동향
__3.1.1 세계 시장 동향
__3.1.2 국내 시장 현황
3.2 최신 sLLM 모델
__3.2.1 LLaMA(메타)
__3.2.2 Gemma(구글)
__3.2.3 Phi(마이크로소프트)
__3.2.4 Mistral AI
__3.2.5 최근 출시 모델
3.3 오픈 소스 기반 LLM과 클라우드 기반 LLM
__3.3.1 오픈 소스 기반 LLM
__3.3.2 클라우드 기반 LLM
__3.3.3 오픈 소스 기반 LLM vs 클라우드 기반 LLM
4장 sLLM 모델 학습 환경 구축
4.1 모델 기반 기술
__4.1.1 허깅페이스
__4.1.2 Ollama
__4.1.3 랭체인, 라마인덱스, 랭그래프
__4.1.4 벡터 데이터베이스
__4.1.5 RAG
__4.1.6 파인튜닝
4.2 필수 라이브러리와 도구
__4.2.1 파이썬: 파이토치, 텐서플로, 허깅페이스 트랜스포머
__4.2.2 데이터 전처리
__4.2.3 분산/클라우드 환경
5장 파인튜닝과 sLLM 파인튜닝
5.1 파인튜닝
__5.1.1 파인튜닝 정의
__5.1.2 파인튜닝의 주요 기술과 하이퍼파라미터 설정
__5.1.3 sLLM 파인튜닝의 필요성
__5.1.4 sLLM 파인튜닝 특징과 장단점
5.2 상용 서비스인 OpenAI의 파인튜닝 활용
__5.2.1 OpenAI 파인튜닝 절차
5.3 sLLM 파인튜닝
__5.3.1 모델 선택의 기준
__5.3.2 주요 모델 비교 및 실습 최적 세팅
__5.3.3 여러 sLLM 파인튜닝 및 성능 비교하기
6장 sLLM의 효율적인 파인튜닝
6.1 효율적인 파인튜닝의 필요성
__6.1.1 전통적인 풀 파인튜닝의 한계
__6.1.2 경량 파인튜닝
6.2 LoRA
__6.2.1 기본 개념
__6.2.2 LoRA 코드 이해하기
__6.2.3 LoRA의 장단점
6.3 QLoRA
__6.3.1 기본 개념
__6.3.2 작동 원리
__6.3.3 QLoRA 코드 이해하기
__6.3.4 QLoRA 설정하기
__6.3.5 QLoRA의 장단점
6.4 파인튜닝 기법 비교
__6.4.1 LoRA vs QLoRA
__6.4.2 풀 파인튜닝 vs LoRA vs QLoRA
6.5 한국어 모델 파인튜닝 실습
7장 효율적인 sLLM 최적화 기법
7.1 모델 최적화 개요
__7.1.1 왜 최적화가 필요한가?
__7.1.2 어떻게 최적화할 것인가?
7.2 모델 압축 기법
__7.2.1 가지치기
__7.2.2 양자화
__7.2.3 가지치기 vs 양자화
__7.2.4 지식 증류
7.3 추론 최적화 기법
__7.3.1 배치 처리
__7.3.2 키-값 캐시
__7.3.3 플래시 어텐션
7.4 GPU 비용 절감 전략
__7.4.1 메모리 최적화 기법
__7.4.2 분산 학습 기초
__7.4.3 클라우드 GPU 비용 관리
__7.4.4 실용적 대안
7.5 정리 및 실전 가이드
__7.5.1 최적화 기법 선택하기
__7.5.2 단계별 최적화 로드맵
__7.5.3 상황별 체크리스트
8장 sLLM 모델의 서비스 적용
8.1 API 배포
__8.1.1 FastAPI 서비스 구축하기
__8.1.2 FastAPI 서비스 실습
__8.1.3 허깅페이스 Inference API 활용하기
__8.1.4 허깅페이스 Inference API 실습
8.2 Gradio로 웹 인터페이스 만들기
8.3 클라우드 환경에 배포하기
__8.3.1 허깅페이스 Spaces 생성하기
__8.3.2 배포용 파일 저장
__8.3.3 허깅페이스 Spaces 업로드하기
__8.3.4 코드로 허깅페이스 Spaces 배포하기
9장 sLLM 기반 서비스 구축
9.1 챗봇, 문서 요약, AI 어시스턴트 만들기
__9.1.1 개발 환경 준비하기
__9.1.2 간단한 챗봇 만들기
__9.1.3 문서 요약 서비스 만들기
__9.1.4 RAG 기반 AI 어시스턴트 만들기
__9.1.5 문서 관리 인터페이스
9.2 프로젝트에 오픈 소스 활용하기
__9.2.1 랭체인
__9.2.2 랭체인 실습
__9.2.3 라마인덱스
__9.2.4 라마인덱스 실습: 문서 인덱싱과 쿼리 엔진
10장 실무에서 발생하는 문제 해결
10.1 데이터 부족 문제 해결법
__10.1.1 데이터 부족 문제의 이해
__10.1.2 데이터 증강 기법
__10.1.3 효율적인 학습 전략
__10.1.4 외부 데이터 소스 활용
10.2 모델 출력 품질 향상 기법
__10.2.1 출력 품질 평가 체계
__10.2.2 하이퍼파라미터 튜닝
__10.2.3 출력 품질 개선 기법
__10.2.4 일반적인 품질 문제 해결
10.3 윤리적 이슈와 보안 고려 사항
__10.3.1 데이터 윤리와 프라이버시
__10.3.2 모델 보안 및 악용 방지
__10.3.3 책임 있는 AI 배포
독자의견 남기기