콘텐츠로 이동
MiniCITY Docs

Ollama Cloud 키 2개를 fallback으로 사용하는 방법

Ollama Cloud 키 2개를 fallback으로 사용하는 방법

섹션 제목: “Ollama Cloud 키 2개를 fallback으로 사용하는 방법”

[!note] 작성이력 | 2026-05-03 16:49, 루키 (hermes)

문제 상황

섹션 제목: “문제 상황”

Ollama Cloud API 키가 2개 있을 때, 하나가 막히면(quota 초과/계정 제한 등) 자동으로 다른 키로 넘어가고 싶음.

핵심 원리

섹션 제목: “핵심 원리”

Hermes는 같은 provider 이름 안에서는 한 번에 하나의 키만 사용함. 자동 키 스위칭은 없음.

fallback을 구현하려면 provider 이름을 다르게 2개 등록해야 함.

설정 방법

섹션 제목: “설정 방법”

1. auth.json에 두 개의 provider 등록

섹션 제목: “1. auth.json에 두 개의 provider 등록”
{
  "credential_pool": [
    {
      "provider": "ollama-cloud-1",
      "api_key": "키-1-값"
    },
    {
      "provider": "ollama-cloud-2",
      "api_key": "키-2-값"
    }
  ]
}

provider 이름은 "ollama"가 아닌 "ollama-cloud-1", "ollama-cloud-2"처럼 고유하게 지정해야 함.

2. config.yaml에 두 provider 모두 등록

섹션 제목: “2. config.yaml에 두 provider 모두 등록”
providers:
  ollama-cloud-1:
    base_url: https://ollama.com/v1
  ollama-cloud-2:
    base_url: https://ollama.com/v1

3. model_catalog.yaml에 두 provider 모두 추가

섹션 제목: “3. model_catalog.yaml에 두 provider 모두 추가”
models:
  - name: kimi-k2.6
    providers:
      - ollama-cloud-1
      - ollama-cloud-2

이렇게 하면 Hermes가 ollama-cloud-1 요청 실패 시 자동으로 ollama-cloud-2로 fallback 시도함.

주의사항

섹션 제목: “주의사항”
항목설명
base_url반드시 https://ollama.com/v1로 지정. localhost:11434로 하면 로컬 Ollama가 자기 계정으로 Cloud를 대신 호출해서 Hermes의 api_key가 무시됨
provider 이름 중복같은 이름으로 2개 등록하면 뒤에 등록한 것만 살아남음. 반드시 다르게 명명
로컬 Ollama 병행 사용로컬도 쓰고 싶다면 ollama-local 같은 세 번째 provider를 별도로 등록하면 됨

fallback 동작 순서

섹션 제목: “fallback 동작 순서”
요청 → ollama-cloud-1 (키 1)
        ↓ 실패
      ollama-cloud-2 (키 2)
        ↓ 실패
      다음 provider...

Hermes 내부 retry 로직이 실패 시 자동으로 model_catalog의 다음 provider로 전환함.

참고

섹션 제목: “참고”