Category
AI
인공지능, LLM 로컬 구축 및 실전 AI 활용법 (총 2개)
PyTorch CUDA OOM 에러와 메모리 파편화 해결
AI8분 소요
충분한 VRAM이 남아있음에도 발생하는 PyTorch CUDA OOM 에러의 원인을 분석하고, Caching Allocator의 메모리 파편화 구조와 PYTORCH_CUDA_ALLOC_CONF 설정을 통해 해결하는 실무 가이드입니다.
Docker로 Ollama와 Open WebUI 구축하기
AI7분 소요
Docker Compose를 활용해 외부 클라우드 의존 없이 로컬에서 완전한 프라이빗 AI 챗봇 환경(Ollama + Open WebUI)을 구축하고 GPU 가속 및 영속 볼륨을 설정하는 실전 가이드입니다.