Nous Research에서 출시한 오픈소스 AI 에이전트인 Hermes Agent를 인터넷 연결이 필요 없는 100% 완전 오프라인(로컬) 환경에 설치하고 연동하는 방법을 정리해 드립니다.
오프라인 구축을 위해서는 1) 에이전트 구동 엔진(Hermes)과 2) 로컬 AI 모델 공급처(LM Studio 또는 Ollama)가 모두 local 환경에서 돌아가야 합니다.
🛠️ 사전 준비 사항
네트워크가 연결된 환경에서 필요한 파일들을 미리 다운로드한 후, 폐쇄망(오프라인) 컴퓨터로 옮겨서 진행해야 합니다.
-
운영체제: Linux, macOS, 또는 Windows (WSL 환경)
-
필수 런타임: Python 3.11 이상, Node.js 18 이상
-
도구: Git, ripgrep (
rg), ffmpeg (음성 인식/출력용, 선택 사항)
1단계: 로컬 LLM 서버 구축 (오프라인 모델 공급)
Hermes Agent의 두뇌 역할을 할 로컬 모델 구동 서버를 먼저 준비합니다. LM Studio나 Ollama 중 편한 방식을 선택하세요.
방법 A: LM Studio 사용 (GUI 선호 시)
-
다운로드: 외부에서 LM Studio 설치 파일과 사용할 모델(예:
Gemma 4 E2B,Qwen3,Llama 3계열의 GGUF 파일)을 다운로드하여 오프라인 PC로 이동합니다. -
서버 실행: LM Studio에서 모델을 로드한 뒤, 좌측 메뉴의 Local Server 탭으로 이동합니다.
-
포트 확인: 서버를 시작하면 기본적으로
http://localhost:1234에서 OpenAI 호환 API 서버가 열립니다.
방법 B: Ollama 사용 (CLI 선호 시)
-
설치 및 모델 준비: Ollama를 설치하고 오프라인에서 사용할 모델을 미리 풀(
ollama pull gemma4)해 둡니다. -
서버 확인: Ollama는 실행 시 자동으로
http://localhost:11434백그라운드 서버를 구동합니다.
2단계: Hermes Agent 설치하기
오프라인 환경에서는 원클릭 쉘 스크립트(curl ... | bash)를 쓸 수 없으므로, 소스코드를 패키징하여 직접 설치해야 합니다.
1. 소스코드 및 종속성 복사 (온라인 환경 작업)
# 1. Hermes 레포지토리 클론
git clone https://github.com/NousResearch/hermes-agent.git
cd hermes-agent
# 2. 필요한 파이썬 패키지(whl) 및 노드 모듈을 오프라인용으로 미리 다운로드(패키징)해 둡니다.
2. 오프라인 PC에서 설치 진행
준비한 소스 폴더로 이동하여 가상환경을 만들고 설치합니다.
# 가상환경 생성 및 활성화
python3.11 -m venv venv
source venv/bin/activate
# Hermes 및 의존성 로컬 설치
pip install -e .
# Node.js 도구 빌드 (브라우저 및 툴 기능용)
npm install
3단계: Hermes와 로컬 LLM 서버 연동 설정
Hermes가 외부 클라우드(OpenAI 등)를 찾지 않고, 1단계에서 띄운 로컬 서버를 바라보도록 설정 파일을 수정합니다.
-
터미널에 초기화 명령어를 입력하거나 설정 파일을 생성합니다.
Bashhermes setup -
대화형 창이 뜨면 Custom Endpoint 또는 사용할 로컬 프로바이더(LM Studio/Ollama)를 선택합니다.
-
수동으로 파일을 편집하고 싶다면
~/.hermes/config.yaml경로의 설정 파일을 열어 아래와 같이 주소를 로컬로 바인딩합니다.
💡 config.yaml 로컬 설정 예시 (LM Studio 연동 시)
YAMLprovider: "custom" model: "local-model-name" # LM Studio에 로드한 모델명 api_key: "not-needed" # 로컬이므로 아무 값이나 입력 base_url: "http://localhost:1234/v1"
4단계: 실행 및 오프라인 테스트
모든 설정이 끝났다면 가상환경이 켜진 상태에서 터미널에 hermes를 입력하여 실행합니다.
hermes
-
TUI(터미널 UI) 진입: 명령어를 입력하면 풀 스크린 터미널 인터페이스가 열립니다.
-
단발성 질문 테스트:
hermes chat -q "오프라인 작동 확인"명령어로 로컬에서 답변이 정상적으로 스트리밍되는지 확인합니다. -
세션 관리: 로컬에서 사용된 대화 기록, 생성된 스킬(Skills), 기억(Memory) 등은 모두 외부 서버를 거치지 않고
~/.hermes/내부 로컬 데이터베이스에만 안전하게 저장됩니다.