올라마 (Ollama) 설치 완벽 가이드: 최신 AI 모델을 로컬에서 실행하는 방법

이제 개인용 컴퓨터에서도 AI 모델을 실행할 수 있다. 그중에서도 Meta에서  무료로 배포하는 올라마 설치 방법을 알아보고자 한다. 

올라마(Ollama)란?

올라마 3.2는 메타에서 개발한 최신 대규모 언어 모델로, 이전 버전에 비해 더욱 향상된 성능과 효율성을 자랑한다.

 

올라마(Ollama) 사용하기에 앞서

Meta에서 제공하는 무료 오픈소스는 Ollama와 LM Studio를 통해서 사용할 수 있다.

개발에 익숙한 사람은 Ollama를, 개발에 익숙치 않은 사람은  LM Studio를 사용하면 된다. 

LM Studio 사용법도 곧 포스팅 할 예정이다.

올라마(Ollama) 다운로드 및 설치 방법

1. Ollama에 접속한다.

2. [Download for Windows]를 클릭한다. (애플을 사용하는 사람은 [macOS]를 클릭한다.)

3. 'OllamaSetup.exe' 파일을 실행시킨다.

4. 설정 다이알로그의 [Install] 버튼을 클릭하면 올라마가 설치된다.

 

올라마(Ollama) 설치 확인 및 실행 방법

1. 터미널을 연다. (Window+R 클릭 후, cmd를 선택하면 아래 처럼 터미널이 열린다.

 

2.  ollama를 입력하면 아래와 같이 올라마가 설치되었음을 보여준다.

3. 올라마 웹사이트로 돌아가서, 우측 상단에 [Models]를 클릭한다.

 

4. 최신 모델인 "llama3.2"를 클릭하면, 터미널에서 실행시킬 수 있는 명령어를 복사할 수 있다.

 

5. ollama run llama3.2를 복사 후 터미널에 입력한다.

 

6. 아래처럼 질문하면, 답변해준다.

 

올라마(Ollama) 단점 및 보완 방법

올라마 3,2는 한국어에 약하다. 이점을 보완하기 위해서는 한국어로 fine tuning 한 모델을 업로드하면 된다.

또한, 올라마는 터미널에서 작업해야하기 때문에 ChatGPT 같은 UI를 원하는 사람에게 다소 부족하다. 이 또한 Docker로 해결 할 수 있다.

 

한국어로 fine tuning 한 모델을 올라마에서 사용하는 방법과 Docker 를 이용해 사용자 친화적 UI로 올라마 사용하는 방법을 곧 포스팅할 예정이다.