00.멀티모달 모델 설치 & 트러블슈팅(copilot)

[!warning] 이 파일은 Microsoft 365 Copilot이 아닌 로컬 Ollama/HuggingFace 모델 설치 가이드입니다. 파일명에 copilot이 포함되어 있으나 내용과 무관합니다.

📘 {{title}}

작성일: {{date}}
태그: #AI #Ollama #Multimodal #Setup #Troubleshooting

🧩 개요

이 문서는 HuggingFace / ModelScope 기반 멀티모달 모델 설치 중 발생하는 문제와 해결 방법을 정리한 템플릿이다.
Ollama, WSL, HF CLI, GGUF 모델 설치 시 반복적으로 참고할 수 있다.

🔐 1. HuggingFace 로그인

hf auth login hf whoami

• 토큰은 반드시 hf_로 시작
• 로그인 성공 시 username: 출력됨

🚫 2. Ollama hf:// 다운로드 실패 원인

공통 오류

• HF repo 이름을 도메인으로 오해 → DNS lookup → timeout
• LFS redirect 문제
• 대문자 repo 미지원

결론

Ollama의 hf:// 방식은 현재 실사용 불가 수준
→ 반드시 hf download 또는 wget 사용

📦 3. GGUF 모델 존재 여부 정리

✔ 존재하는 GGUF

❌ 존재하지 않는 GGUF

📥 4. 모델별 정확한 다운로드 명령

🔵 Qwen2-VL 7B (HuggingFace)

hf download Qwen/Qwen2-VL-7B-Instruct-GGUF \ Qwen2-VL-7B-Instruct-Q4_K_M.gguf \ —local-dir ~/models/qvl7

🔵 InternVL 26B (ModelScope)

mkdir -p ~/models/ivl26 && cd ~/models/ivl26 wget “https://modelscope.cn/api/v1/models/OpenGVLab/InternVL2-26B-GGUF/repo?Revision=master&FilePath=InternVL2-26B-Q4_K_M.gguf” \ -O InternVL2-26B-Q4_K_M.gguf



🔵 LLaVA 1.6 13B (HuggingFace)

hf download llava-hf/llava-v1.6-34b-gguf \ llava-v1.6-34b-q4_k_m.gguf \ —local-dir ~/models/llava13

주의: 이름은 34B처럼 보이지만 실제로는 13B 기반 LLaVA 1.6

🛠 5. Ollama Modelfile 템플릿

FROM ./model.gguf PARAMETER num_ctx 32768 PARAMETER num_batch 512 PARAMETER num_thread 8 PARAMETER num_gpu 1 PARAMETER temperature 0.2 PARAMETER top_p 0.9 PARAMETER top_k 40 PARAMETER repeat_penalty 1.1 SYSTEM """ You are a multimodal reasoning agent. Analyze images step-by-step internally. Output concise, structured answers. """

모델 생성

ollama create <모델이름> -f Modelfile

🖥 6. WSL 병렬 작업 규칙

✔ 다운로드는 동시에 여러 창에서 가능

• GPU/VRAM 사용 없음
• 네트워크만 사용

❌ 서로 다른 모델을 동시에 로딩해서 추론은 불가

• VRAM 24GB(3090) 한계
• 대형 모델은 단일 모델만 로딩 가능

⭐ 7. 추천 멀티모달 조합 (3090 기준)

📝 메모

• 필요 시 ModelScope → wget
• HF → hf download
• Ollama hf://는 비추천