온디바이스 모델
Rephlo는 AI 모델을 컴퓨터에서 직접 실행할 수 있습니다 — 인터넷 연결이 필요 없고, 메시지당 크레딧도 소모되지 않으며, 텍스트가 기기 밖으로 전송되지 않습니다. 온디바이스 모델 화면에서는 엄선된 로컬 모델 카탈로그를 둘러보고, 원하는 모델을 다운로드하며, 이러한 모델이 컴퓨터의 메모리를 어떻게 사용할지 제어할 수 있습니다.
이 화면은 설정의 LLM 공급자 영역 안에 있습니다. 온 디바이스 추론은 GGUF 모델 형식을 사용하며 Rephlo에 내장된 로컬 엔진을 통해 실행됩니다.
내장 웹 검색 없음. 온디바이스 모델은 완전히 오프라인으로 실행되기 때문에 스스로 검색하거나 실시간 정보를 가져올 수 없습니다. 온디바이스 모델이 사용 가능해지는 대로 최신 데이터를 가져올 수 있게 해줄 웹 검색 커넥터(MCP)가 개발 중입니다. 지금 당장 웹 검색이 필요하다면 이를 지원하는 클라우드 공급자를 사용하세요 (채팅 및 대화 참고).
첨부파일 읽기. v1.4.1부터 온디바이스 모델은 채팅에서 첨부된 PDF, 텍스트 파일, Office 문서를 읽을 수 있습니다. 텍스트는 로컬에서 추출되어 프롬프트에 포함됩니다. 스캔한 문서는 기기에서 먼저 인식되므로 여기서도 동작합니다.
이미지. 온디바이스 모델은 이미지를 볼 수 없습니다. 이미지를 첨부하면 Rephlo가 사용자의 기기에서 그 안의 텍스트를 읽어 대신 전달하므로 이미지가 조용히 무시되지는 않습니다. 다만 인식된 텍스트는 시각적 이해가 아닙니다. 차트, 다이어그램, 사진에는 시각 인식이 가능한 클라우드 모델을 쓰세요.
로컬 모델은 실제로 어디까지 할 수 있나요? 온디바이스 모델과 클라우드 모델을 저울질하고 있다면 온디바이스 모델과 클라우드 모델을 읽어 보세요.
누가 온디바이스 모델을 사용할 수 있나요?
온디바이스 모델은 Pro, Enterprise, 또는 영구 라이선스가 필요합니다 — Free 및 Starter 플랜에는 포함되지 않습니다.
플랜에 해당 기능이 포함되지 않은 경우, 카탈로그 위에 업그레이드 배너가 표시됩니다: "온디바이스 모델은 Pro, Enterprise, 또는 영구 라이선스가 필요합니다." 카탈로그는 계속 표시되며 — 다운로드 및 활성화는 비활성화되지만, 디스크 공간을 확보하기 위해 이미 다운로드한 모델을 삭제하는 것은 여전히 가능합니다. 배너에는 다음과 같이 하나의 버튼이 표시됩니다:
| 상황 | 버튼 |
|---|---|
| 무료 체험 대상인 경우 | Start free trial or view plans |
| 이미 체험판을 사용했거나 대상이 아닌 경우 | View plans |
버튼을 선택하면 업그레이드 안내가 열리고, 여기서 체험판을 시작하거나 플랜을 비교할 수 있습니다. 플랜이 이 기능을 잠금 해제하는 즉시 배너가 사라지고 다운로드가 가능해집니다 — 재시작이 필요 없습니다.
체험판을 시작하려면 라이선스 및 체험판을, 옵션을 비교하려면 가격 페이지를 참고하세요.
내 컴퓨터 확인 (사전 점검)
다운로드하기 전에 사전 하드웨어 점검을 사용하여 컴퓨터가 무리 없이 실행할 수 있는 모델을 확인하세요. Rephlo는 하드웨어를 읽어들여 다음과 같은 간단한 요약을 보여줍니다:
16 GB RAM · 8 cores · Apple Silicon (unified memory)
그런 다음 카탈로그의 순위를 매기고 가장 적합한 모델 하나를 강조하며, 이를 다운로드 버튼에 직접 표시합니다 (예: Download Phi-4 Mini 3.8B). 클릭 한 번으로 추천 모델을 다운로드할 수 있습니다.
이 점검은 안내용이며, 접근을 막는 것이 아닙니다:
- 추천 모델이 적합하다면 깔끔한 추천을 받게 됩니다.
- 모델이 보유한 것보다 더 많은 메모리를 필요로 하는 경우, Rephlo는 완곡한 경고를 표시하고 ("이 모델은 느리게 작동하거나 로드되지 않을 수 있습니다") Download anyway를 허용합니다 — 강제로 차단하는 일은 없습니다.
- 하드웨어 검사가 어떤 이유로든 실패하더라도, 아래에서 여전히 모델을 직접 둘러보고 다운로드할 수 있습니다.
모델 다운로드 및 관리
카탈로그의 각 모델은 다운로드 용량, 간단한 설명, 속도 및 정확도 등급(점으로 표시되며 많을수록 좋음)을 보여줍니다. 모델 행에서 다음을 수 행할 수 있습니다:
- Download — 실시간 진행률 표시줄과 함께 모델 파일을 가져옵니다. 다운로드가 실패하면 해당 행에 오류가 표시되어 다시 시도할 수 있습니다.
- Use (Activate) — 다운로드한 모델을 채팅 및 명령용 활성 온디바이스 모델로 표시합니다. 한 모델을 활성화하면 다른 모델은 비활성화되며, 활성 모델은 화면 상단에 표시됩니다.
- Delete — 디스크 공간을 확보하기 위해 모델 파일을 제거합니다. (기능이 잠긴 플랜에서도 삭제는 가능하므로 언제든 저장 공간을 회수할 수 있습니다.)
모델 생명주기
저장소
다운로드한 모델은 플랫폼별로 앱 데이터 폴더에 저장됩니다:
| 플랫폼 | 위치 |
|---|---|
| macOS | ~/Library/Application Support/Rephlo/models/llm |
| Windows | %LOCALAPPDATA%\Rephlo\models\llm |
이 화면은 다운로드한 모든 모델을 합산한 총 디스크 사용량을 보여주며, 각 행에는 해당 모델 개별 용량이 표시됩니다. 모델 파일은 용량이 크므로 (종종 각 몇 기가바이트) 여유 공간을 주의 깊게 확인하세요 — 다운로드 전에 충분한 공간이 있는지 확인하시기 바랍니다.
메모리: 모델을 로드 상태로 유지하거나 언로드하기
모델을 메모리에 로드하는 데는 잠시 시간이 걸리며, 활성화되어 있는 동안 RAM을 사용합니다. 메모리 전략으로 Rephlo가 이를 어떻게 관리할지 선택할 수 있습니다:
| 전략 | 동작 방식 | 적합한 경우 |
|---|---|---|
| Always Loaded | 즉각적인 응답을 위해 활성 모델을 항상 메모리에 유지합니다. | 온디바이스 AI를 지속적으로 사용하는 고성능 컴퓨터. |
| Auto Unload (Recommended) | 사용 중에는 모델을 로드 상태로 유지하고, 유휴 기간(기본값 10분) 후 자동으로 메모리를 해제합니다. | 대부분의 사용자 — 사용 중에는 빠르고, 유휴 시에는 리소스를 적게 사용합니다. |
| Manual | 필요할 때 로드되며 사용자가 선택할 때만 언로드됩니다. | 완전한 제어를 원하는 고급 사용자. |
Auto Unload를 사용하면 유휴 시간 초과(분 단위)를 조정할 수 있습니다. 그만큼의 시간 동안 사용이 없으면 모델이 자동으로 언로드되어 메모리를 다른 앱에 돌려줍니다. 다음 요청 시 자동으로 다시 로드됩니다.
같은 Model Memory 카드에는 Context Window 제어도 있습니다 — 온디바이스 모델이 요청당 고려할 수 있는 최대 토큰 수입니다. 기본값은 **32,768 토큰(~32K)**이며 2,048에서 262,144 사이로 설정할 수 있습니다. BYOK/클라우드 및 Ollama 방식 공급자 모델의 Context Length 필드와 달리 여기에는 Auto 옵션이 없습니다 — 온디바이스 모델은 항상 이 명시적 설정을 사용합니다. Context Window를 높이면 더 많은 RAM/VRAM을 사용하며 활성 모델이 다시 로드됩니다.
컨텍스트 초과 오류가 발생하나요? 요청이 메모리에 들어맞지 않으면 Rephlo는 조치 가능한 오류를 표시합니다(때로
NoKvSlot을 언급). 이를 해결하려면 위의 Context Window를 높이세요.
온디바이스 모델 화면: 상단의 "내 컴퓨터 확인" 사전 점검 패널, 메모리 전략 선택기, 총 저장 공간 사용량, 그리고 행별 다운로드/사용/삭제 작업이 있는 스크롤 가능한 모델 카탈로그입니다.
관련 페이지
- 온디바이스 모델과 클라우드 모델
- 모델 및 추론 — Rephlo가 클라우드 모델과 온디바이스 모델 중 어떻게 선택하는지
- LLM 공급자 — 클라우드 공급자와 API 키 구성
- 라이선스 및 체험판 — 온디바이스 모델을 잠금 해제하는 체험판 시작
- 개인정보 및 데이터 — 로컬 모델이 텍스트를 온디바이스에 유지하는 이유