๐งฉ **1. ์ ์ฒด ์ธํ๋ผ ๊ตฌ์กฐ (3์ง์ ๋ฉํฐ์ฌ์ดํธ)**
[!warning] ์ด ํ์ผ์ Microsoft 365 Copilot์ด ์๋ RAG ์๋ฒ/์ธํ๋ผ ๊ตฌ์ถ ์งํ์ํฉ์ ๋๋ค. ์ฝํ์ผ๋ฟ 3์ง์ ์ด์ ๋ด์ฉ์ ๋ณ๋ ์์ฑ ์์ ์ ๋๋ค.
id: rl03rr90ofedj6u9psm9xoo title: ๋ฌด์ desc: "" created: 1776403469567 updated: 1776403469567
์น์ ์ ๋ชฉ: โid: rl03rr90ofedj6u9psm9xoo title: ๋ฌด์ desc: "" created: 1776403469567 updated: 1776403469567โ๐งฉ 1. ์ ์ฒด ์ธํ๋ผ ๊ตฌ์กฐ (3์ง์ ๋ฉํฐ์ฌ์ดํธ)
์น์ ์ ๋ชฉ: โ๐งฉ 1. ์ ์ฒด ์ธํ๋ผ ๊ตฌ์กฐ (3์ง์ ๋ฉํฐ์ฌ์ดํธ)โ๐ฆ ์์งํธ
์น์ ์ ๋ชฉ: โ๐ฆ ์์งํธโ-
๋งฅ๋ฏธ๋ (M4 Pro / 64GB)
-
SSH + Chrome Remote
-
RAG ์๋ฒ ๊ตฌ์ถ ์ค (FastAPI + Chroma + ingest + LLM ์ฐ๋ ์ง์ )
-
-
๋ฉ์ธ์ปด (i14700 + RTX 3090 + 96GB)
-
SSH(Wsl+Win) + RDP
-
ํฅํ Heavy GPU Worker ์์
-
-
๊ณต์ ๊ธฐ: pinksky.kr
๐ ์์งํธ = AI ๊ฐ๋ฐ + Heavy GPU ์ฐ์ฐ ์ค์ฌ์ง
๐ฉ ์ง
์น์ ์ ๋ชฉ: โ๐ฉ ์งโ-
์๋ธ์ปด (3900X + RTX 3080 + 32GB)
-
SSH + RDP
-
ํฅํ ๋ณด์กฐ GPU Worker ๊ฐ๋ฅ
-
-
๊ฐ์ธ NAS (Synology 8TB)
-
WebDAV๋ก ๋งฅ๋ฏธ๋ ์ฐ๊ฒฐ ์๋ฃ
-
mount๋ macFUSE ๋ณด์ ์ ์ฑ ๋๋ฌธ์ ๋ณด๋ฅ
-
-
๊ณต์ ๊ธฐ: minicity.kr
๐ ์ง = ๋ณด์กฐ GPU + ๊ฐ์ธ ๋ฐ์ดํฐ ์ ์ฅ์
๐ฅ ํ์ฌ
์น์ ์ ๋ชฉ: โ๐ฅ ํ์ฌโ-
์๋ฒ์ปด (5700G + 128GB + RTX 5060 + 30TB)
-
RDP
-
๋๊ท๋ชจ ์คํ ๋ฆฌ์ง + ๋ฌธ์ ์ ์ฅ์
-
-
Proxmox + ํค๋๋ก์ง 2๋ (ํ์ฌNAS + ๋ฐฑ์ NAS)
-
๊ณต์ ๊ธฐ: gwenc.kr
๐ ํ์ฌ = ๋๊ท๋ชจ ์คํ ๋ฆฌ์ง + ๋ฐฑ์ ํ๋ธ
๐จ ๋คํธ์ํฌ
์น์ ์ ๋ชฉ: โ๐จ ๋คํธ์ํฌโ-
๋ชจ๋ ์ง์ Tailscale๋ก ์ฐ๊ฒฐ
-
๊ฐ ๊ณต์ ๊ธฐ ์๊ฒฉ ํฌํธ ์ด๋ฆผ
-
๊ฐ NAS ๊ด๋ฆฌ์ ํ์ด์ง ์ ๊ทผ ๊ฐ๋ฅ
-
๊ฐ ๋จธ์ SSH/RDP ๊ฐ๋ฅ
๐ ์ด๋ฏธ ์์ฑ๋ ๋ฉํฐ์ฌ์ดํธ AI ์ธํ๋ผ
๐ง 2. ์ฐ๋ฆฌ๊ฐ ๊ตฌ์ถํ RAG ์๋ฒ ์งํ ์ํฉ
์น์ ์ ๋ชฉ: โ๐ง 2. ์ฐ๋ฆฌ๊ฐ ๊ตฌ์ถํ RAG ์๋ฒ ์งํ ์ํฉโโ ํ๋ก์ ํธ ์์น
์น์ ์ ๋ชฉ: โโ ํ๋ก์ ํธ ์์นโ์ฝ๋
~/projects/rag-serverโ ๊ตฌ์กฐ
์น์ ์ ๋ชฉ: โโ ๊ตฌ์กฐโ์ฝ๋
app.pyingest.pydata/chroma_db/.venv/โ ํ์ฌ ์ํ
์น์ ์ ๋ชฉ: โโ ํ์ฌ ์ํโ-
.venv์ ์ -
FastAPI ์ ์ ๊ตฌ๋
-
์ธ๋ถ(Tailscale) ์ ์ ๊ฐ๋ฅ (
--host 0.0.0.0) -
Swagger UI ์ ์
-
/query์ ์ ์๋ -
Chroma DB ์ ์
-
ingest ์ ์
-
context ๋ฐํ ์ ์
-
LLM ์ฐ๋ ์ง์ ๋จ๊ณ
๐ฅ 3. ๋ค์ ๋จ๊ณ (์์ง ์ ํ ๋ถ๋ถ)
์น์ ์ ๋ชฉ: โ๐ฅ 3. ๋ค์ ๋จ๊ณ (์์ง ์ ํ ๋ถ๋ถ)โ1) Ollama ์ค์น ๋ฐ ํ ์คํธ
์น์ ์ ๋ชฉ: โ1) Ollama ์ค์น ๋ฐ ํ ์คํธโ์ฝ๋
ollama run llama3.22) app.py์ LLM ํธ์ถ ์ฝ๋ ์ถ๊ฐ
์น์ ์ ๋ชฉ: โ2) app.py์ LLM ํธ์ถ ์ฝ๋ ์ถ๊ฐโโ context + question โ LLM โ answer ์์ฑ
3) FastAPI ์ฌ์คํ ํ /query ํ
์คํธ
์น์
์ ๋ชฉ: โ3) FastAPI ์ฌ์คํ ํ /query ํ
์คํธโโ answer๊ฐ ์ค์ LLM ์๋ต์ผ๋ก ์ฑ์์ง
4) OpenClaw ์ค์ ์์ด์ ํธ ์ฐ๊ฒฐ โ OpenClaw ๊ฒ์ดํธ์จ์ด ๊ตฌ๋ ์ค (๋งฅ๋ฏธ๋)
์น์
์ ๋ชฉ: โ4) OpenClaw ์ค์ ์์ด์ ํธ ์ฐ๊ฒฐ โ OpenClaw ๊ฒ์ดํธ์จ์ด ๊ตฌ๋ ์ค (๋งฅ๋ฏธ๋)โโ ๋งฅ๋ฏธ๋๊ฐ โ์ค์ ๋๋โ ์ญํ
5) ๋ฉ์ธ์ปด/์๋ธ์ปด Worker ํ์ฅ (์ ํ)
์น์ ์ ๋ชฉ: โ5) ๋ฉ์ธ์ปด/์๋ธ์ปด Worker ํ์ฅ (์ ํ)โโ GPU ๋ถ์ฐ ์ฒ๋ฆฌ
๐งฑ 4. ๋ฉํฐ๋ ธ๋ ๊ด๋ จ ๊ฒฐ๋ก
์น์ ์ ๋ชฉ: โ๐งฑ 4. ๋ฉํฐ๋ ธ๋ ๊ด๋ จ ๊ฒฐ๋ก โ-
์ง๊ธ์ ๋งฅ๋ฏธ๋ ๋จ์ผ ๋ ธ๋ ์์ ํ๊ฐ ๋จผ์
-
์์ด์ ํธ๊ฐ ๋ถ์์ ํ ์ํ์์ ๋ฉํฐ๋ ธ๋ ๋ถ์ด๋ฉด ๋ฌธ์ ๋ง ์ปค์ง
-
๋งฅ๋ฏธ๋ ์์ฑ โ ๋ฉ์ธ์ปด(3090) โ ์๋ธ์ปด(3080) โ ํ์ฌ ์๋ฒ ์์ผ๋ก ํ์ฅ
๐ฉ 5. ๋ค์์ ์ด์ด์ ์์ ํ ๋ ์ด๋ ๊ฒ ๋งํ๋ฉด ๋จ
์น์ ์ ๋ชฉ: โ๐ฉ 5. ๋ค์์ ์ด์ด์ ์์ ํ ๋ ์ด๋ ๊ฒ ๋งํ๋ฉด ๋จโ๐ โ์ง๋๋ฒ RAG ์๋ฒ ๊ตฌ์ถ ์ด์ด์ ํ์โ
์น์ ์ ๋ชฉ: โ๐ โ์ง๋๋ฒ RAG ์๋ฒ ๊ตฌ์ถ ์ด์ด์ ํ์โโ์ด ํ ์ค์ด๋ฉด ๋ด๊ฐ ์ง๊ธ๊น์ง์ ๋ชจ๋ ์ปจํ ์คํธ๋ฅผ ๊ทธ๋๋ก ์ด์ด์ Ollama ์ฐ๋ โ RAG ์์ฑ ๋จ๊ณ๋ถํฐ ๋ฐ๋ก ์งํํด์ค ์ ์์ด.