Ollama란? 내 PC에서 무료로 LLM 실행하기

최근 ChatGPT, GPT-4 등 대형 언어 모델(Large Language Model, LLM)이 큰 주목을 받고 있습니다. 하지만 이런 LLM을 사용하려면 보통 클라우드 API를 이용해야 하고, 이 과정에서 비용이 발생하는 경우가 많습니다. 그렇다면 무료로, 그것도 내 PC에서 직접 LLM을 실행할 수 있다면 어떨까요? 바로 이러한 필요를 충족시켜주는 오픈소스 프로젝트가 Ollama입니다.

이 글에서는 Ollama가 무엇인지, 어떻게 설치하고 사용하는지, 그리고 Ollama를 활용해 나만의 LLM 환경을 구축하는 방법을 자세히 알아보겠습니다.

Ollama란?

Ollama는 다양한 오픈소스 LLM을 로컬 PC에서 쉽게 실행할 수 있도록 해주는 도구입니다. 대표적으로 Mistral, Llama 3 등의 모델을 지원하며, 모델 가중치, 설정, 데이터셋을 하나의 패키지로 묶어 관리할 수 있도록 Modelfile을 제공합니다.

Ollama의 주요 특징

• 무료 오픈소스로 누구나 사용할 수 있음
• 로컬 PC에서 실행 가능하여 클라우드 의존도를 줄일 수 있음
• Llama 3, Mistral 등 다양한 모델 지원
• 사용자 정의 프롬프트로 모델 커스터마이징 가능
• REST API 제공으로 개발 및 자동화에 유리함

지원 모델

Ollama는 여러 가지 오픈소스 LLM을 지원합니다. 다음은 대표적인 모델 목록입니다:

모델 설명 실행 명령

Llama 3	범용적으로 사용되는 강력한 LLM	ollama run llama3
Mistral	70억 파라미터의 고성능 모델	ollama run mistral
CodeLlama	코드 생성 및 이해에 특화된 모델	ollama run codellama
Llama 2 Uncensored	검열이 없는 Llama 2 모델	ollama run llama2-uncensored
Orca Mini	입문자를 위한 경량 모델	ollama run orca-mini

이 외에도 LLaVA, Gemma, Solar 등 다양한 모델이 있으며, Ollama 모델 라이브러리에서 전체 목록을 확인할 수 있습니다.

Ollama 설치 방법

macOS 설치

1. Ollama 공식 홈페이지에서 macOS용 설치 파일을 다운로드합니다.
2. 다운로드한 zip 파일을 압축 해제합니다.
3. 터미널을 열고 압축 해제한 폴더로 이동합니다.
4. ./ollama 명령어를 실행하면 Ollama가 실행됩니다.

Linux 설치

터미널에서 아래 명령어를 실행하면 Ollama가 자동으로 설치됩니다:

curl -fsSL https://ollama.com/install.sh | sh

Windows 설치

Windows는 현재 프리뷰 버전만 지원되며, 공식 홈페이지에서 설치 파일을 받아 실행하면 됩니다.

Docker로 실행

Docker를 사용하는 경우 공식 이미지 ollama/ollama를 이용하면 손쉽게 배포할 수 있습니다.

Ollama 사용법

모델 실행하기

Ollama에서 모델을 실행하는 기본적인 방법은 ollama run 명령어를 사용하는 것입니다.

예를 들어, Llama 3 모델을 실행하려면 다음과 같이 입력합니다:

ollama run llama3

모델이 설치되어 있지 않다면 자동으로 다운로드 후 실행됩니다.

대화 모드 사용하기

모델 실행 후 프롬프트가 나타나면 질문을 입력할 수 있습니다.

>>> 하늘은 왜 파란가요?

그러면 LLM이 다음과 같이 답변할 것입니다:

하늘이 파랗게 보이는 이유는 빛의 산란 때문입니다...

멀티라인 입력

여러 줄의 문장을 입력하고 싶다면 """로 감싸면 됩니다.

>>> """
안녕하세요.
오늘도 좋은 하루 되세요!
"""

이미지 입력

일부 멀티모달 모델은 이미지 입력도 지원합니다.

>>> 이 이미지에 무엇이 있나요? /path/to/image.png

모델 커스터마이징

Ollama에서는 기본 모델을 수정하여 나만의 커스텀 모델을 만들 수도 있습니다.

1. 모델 다운로드

ollama pull llama3

2. Modelfile 생성

FROM llama3
PARAMETER temperature 1
SYSTEM """
당신은 슈퍼마리오입니다. 마리오처럼 대답해주세요.
"""

3. 새로운 모델 생성 및 실행

ollama create mario -f ./Modelfile
ollama run mario

Ollama API 사용하기

Ollama는 REST API도 제공하므로 개발자들이 다양한 응용 프로그램에서 활용할 수 있습니다.

응답 생성 API

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "하늘은 왜 파란가요?"
}'

채팅 API

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    {"role": "user", "content": "하늘은 왜 파란가요?"}
  ]
}'

Ollama의 활용 사례

Ollama는 다양한 플랫폼과의 연동을 지원하여 활용 범위가 넓습니다.

• 웹 및 데스크톱: LibreChat, Bionic GPT
• 터미널: oterm, Ellama
• 데이터베이스: MindsDB
• 라이브러리: LangChain, LlamaIndex
• 모바일: Enchanted, Maid
• 확장 및 플러그인: Raycast, Obsidian, Logseq

결론

Ollama를 사용하면 누구나 무료로 자신의 PC에서 강력한 LLM을 실행할 수 있습니다. 설치가 간단하고, 다양한 모델을 지원하며, 커스터마이징도 자유롭게 가능합니다. API까지 제공되므로 다양한 플랫폼과 연동하여 활용할 수도 있습니다.

이제 여러분도 Ollama를 이용해 나만의 AI 환경을 구축해보세요! 코딩, 글쓰기, 질의응답 등 다양한 용도로 활용할 수 있습니다. Ollama와 함께 AI의 무한한 가능성을 경험해보시길 바랍니다.