deepseek local 설치 - cloud engineer

요즘 이슈가 되고 있는 deepseek가 궁금해서 찾아보니 local에 설치가 가능하다하여 테스트 해보았다..
저사양에서의 성능은 생각보다 별로…인듯?한국어 호환도 잘 안된다.

Contents

Ollama?

Ollama는 로컬에서 AI 모델을 쉽게 실행할 수 있도록 도와주는 경량화된 AI 런타임입니다.
일반적으로 대형 언어 모델(LLM)은 복잡한 설정이 필요하지만, Ollama를 사용하면 간단한 명령어로 LLM을 다운로드하고 실행할 수 있습니다.

DeepSeek?

DeepSeek은 중국의 AI 연구팀이 개발한 오픈소스 대형 언어 모델(LLM)입니다.
DeepSeek-R1 시리즈는 GPT-4와 같은 자연어 처리(NLP) 및 코딩에 특화된 모델로 개발되었습니다.

GPT-4o가 더 좋은듯하다…

Install

Ollama install

curl -fsSL https://ollama.com/install.sh | sh

ollama --version
# ollama version is 0.5.7

동작을 하는지 확인하기위하여 간단한 커멘드 테스트를 해봅니다.
오류가 발생하지 않으면 정상 설치된 것 입니다.

ollama list
# NAME    ID    SIZE    MODIFIED

DeepSeek 모델 다운로드 및 실행

nvidia-rtx3060(12GB)를 사용중입니다. ChatGPT에 물어보니 7b를 추천해줘서 deepseek-coder-7b로 해보았습니다.

ollama pull deepseek-r1:7b

root@rtx3060:~# ollama list
NAME              ID              SIZE      MODIFIED       
deepseek-r1:7b    0a8c26691023    4.7 GB    23 seconds ago

CUDA사용 을 위한 환경 변수 설정
(nvidia gpu drivver는 이미 설치되어있음.)

echo 'export OLLAMA_USE_CUDA=1' >> ~/.bashrc
# 외부 접근 허용을 위한 설정 웹 UI연동을 위하여...
echo 'export OLLAMA_HOST=0.0.0.0' >> ~/.bashrc
source ~/.bashrc

실행테스트

ollama run deepseek-r1:7b

GPU사용중인지 확인

GPU-Util 수치가 올라가고, Processes에도 잡히고 있는 것 확인.

Ollama API Server 구동

포트 충돌이 발생해서 확인해보니 데몬서비스 등록이 되어있었다.

systemctl stop ollama.service

vi /etc/systemd/system/ollama.service

아래 두개의 환경변수를 추가하였다.
(GPU사용시에 OLLAMA_USE_CUDA 변수추가.)

Environment="OLLAMA_USE_CUDA=1"
Environment="OLLAMA_HOST=0.0.0.0"

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_USE_CUDA=1"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin"

[Install]
WantedBy=default.target

systemctl daemon-reload
systemctl start ollama.service

포트 확인

ss -nltp

테스트 쿼리

curl -X POST http://localhost:11434/api/generate -H "Content-Type: application/json" -d '{"model": "deepseek-r1:7b", "prompt": "What is deep learning?", "stream": false}'

여기까지 하면 API통신 테스트까지 완료.

설치 영상 및 OpenWeb UI연동

웹 콘솔 연동 및 설치 과정을 담은 영상입니다.