과학 공학
오픈소스 LLM 자체 호스팅 — 공공기관 보안 적합
연삼흠 박사
위아북
0 (0명)
2명이 읽었어요
유료 작품은 원스토리 앱에서 이용 할 수 있어요.
- 소장
- 128,700 ⓒ
| 듣기기능 | TTS지원 | 파일정보 | EPUB |
|---|---|---|---|
| 총 용량 | 1.4 MB | 이용기기 | |
| ISBN | 9791176473705 | ||
목차
오픈소스 LLM 자체 호스팅 — 공공기관 보안 적합
표제지
Chapter 01: 왜 자체 호스팅인가 — 보안·비용·데이터 주권
Chapter 02: 오픈 웨이트 모델 지형 — Llama·Qwen·Gemma·Mistral·DeepSeek
Chapter 03: 라이선스 읽기 — Apache·MIT vs 커뮤니티 라이선스
Chapter 04: GPU·메모리 기초 — 모델은 메모리에 어떻게 올라가나
Chapter 05: 양자화 — GGUF·AWQ·GPTQ로 GPU를 아낀다
Chapter 06: [실습] Ollama로 첫 모델 띄우기
Chapter 07: Ollama vs vLLM vs SGLang — 언제 무엇을
Chapter 08: vLLM — PagedAttention·연속 배칭으로 다중 사용자
Chapter 09: SGLang — RadixAttention·프리픽스 캐시
Chapter 10: [실습] vLLM로 OpenAI 호환 API 서버 구축
Chapter 11: LiteLLM — 통합 게이트웨이·라우팅·비용 추적
Chapter 12: Docker·Kubernetes 배포 — WIA SOOM 패널로
Chapter 13: 내부망·망분리 적합 구성 — 외부 전송 0
Chapter 14: 성능 튜닝 — 배칭·KV 캐시·LoRA·동시성
Chapter 15: 모니터링·관측 — 처리량·지연·GPU 사용률
Chapter 16: [프로젝트] 내부망 LLM 게이트웨이 구축과 다음 단계
부록 A: vLLM·Ollama·LiteLLM 명령 치트시트
부록 B: 오픈 모델·라이선스 비교표
부록 C: WIA SOOM SSH·Docker·K8s 단축키
부록 D: 양자화·서빙 리소스 목록
부록 E: 용어 사전핵심 용어 30선
표제지
Chapter 01: 왜 자체 호스팅인가 — 보안·비용·데이터 주권
Chapter 02: 오픈 웨이트 모델 지형 — Llama·Qwen·Gemma·Mistral·DeepSeek
Chapter 03: 라이선스 읽기 — Apache·MIT vs 커뮤니티 라이선스
Chapter 04: GPU·메모리 기초 — 모델은 메모리에 어떻게 올라가나
Chapter 05: 양자화 — GGUF·AWQ·GPTQ로 GPU를 아낀다
Chapter 06: [실습] Ollama로 첫 모델 띄우기
Chapter 07: Ollama vs vLLM vs SGLang — 언제 무엇을
Chapter 08: vLLM — PagedAttention·연속 배칭으로 다중 사용자
Chapter 09: SGLang — RadixAttention·프리픽스 캐시
Chapter 10: [실습] vLLM로 OpenAI 호환 API 서버 구축
Chapter 11: LiteLLM — 통합 게이트웨이·라우팅·비용 추적
Chapter 12: Docker·Kubernetes 배포 — WIA SOOM 패널로
Chapter 13: 내부망·망분리 적합 구성 — 외부 전송 0
Chapter 14: 성능 튜닝 — 배칭·KV 캐시·LoRA·동시성
Chapter 15: 모니터링·관측 — 처리량·지연·GPU 사용률
Chapter 16: [프로젝트] 내부망 LLM 게이트웨이 구축과 다음 단계
부록 A: vLLM·Ollama·LiteLLM 명령 치트시트
부록 B: 오픈 모델·라이선스 비교표
부록 C: WIA SOOM SSH·Docker·K8s 단축키
부록 D: 양자화·서빙 리소스 목록
부록 E: 용어 사전핵심 용어 30선