Hướng dẫn chi tiết: Tự thiết lập và chạy Large Language Model (LLM) cục bộ trên máy tính cá nhân

Tự thiết lập và chạy Large Language Model (LLM) cục bộ

Trong bối cảnh các mô hình AI tiên phong ngày càng bị kiểm soát bởi các quy định xuất khẩu nghiêm ngặt hoặc chi phí API leo thang, phong trào mã nguồn mở không chỉ là một lựa chọn triết học mà còn là cơ chế cần thiết để giữ AI trong tay người dùng phổ thông. Mặc dù các mô hình độc quyền từ các phòng thí nghiệm công nghệ lớn vẫn dẫn đầu về hiệu suất, khoảng cách này đang thu hẹp nhanh chóng.

Hình ảnh minh họa

Ngày nay, bạn hoàn toàn có thể chạy một mô hình có khả năng cao ngay trên máy tính xách tay của mình. Trong bài viết này, chúng ta sẽ cài đặt Qwen 3 8B trên MacBook Air, chạy hoàn toàn ngoại tuyến (offline) và sử dụng nó cho các tác vụ hàng ngày.

Tại sao nên chạy LLM cục bộ?

Quyền riêng tư (Digital Sovereignty): Khi sử dụng các dịch vụ như Claude hay ChatGPT, dữ liệu của bạn được gửi đến máy chủ từ xa. Với mô hình cục bộ, dữ liệu không bao giờ rời khỏi máy tính của bạn.
Không phụ thuộc vào API: Không cần lo lắng về chi phí API, thay đổi điều khoản dịch vụ hay bị chặn truy cập.
Hoạt động ngoại tuyến: Bạn có thể ngắt kết nối Wi-Fi và mô hình vẫn hoạt động bình thường.

Cấu hình phần cứng

Để chạy mô hình 8B, bạn cần một máy tính có khả năng xử lý tốt. Ví dụ trong bài là MacBook Air M4 với 24 GB RAM.

Apple Silicon (M1/M2/M3/M4): Đây là lựa chọn tuyệt vời nhờ bộ nhớ thống nhất (unified memory), giúp CPU và GPU chia sẻ cùng một vùng nhớ, tăng tốc độ xử lý đáng kể.
Yêu cầu: Một mô hình 8B chiếm khoảng 5 GB trên ổ cứng và khoảng 6 GB RAM khi tải. Nếu bạn có 8 GB RAM, hãy ưu tiên các mô hình 1.5B hoặc 3B.

Sử dụng Ollama để chạy LLM

Ollama là một công cụ mã nguồn mở giúp đơn giản hóa việc chạy LLM cục bộ. Nó tích hợp sẵn llama.cpp (sử dụng Metal cho GPU trên Mac), một registry mô hình kiểu Docker và API HTTP cục bộ.

Bước 1: Cài đặt Ollama

Bạn có thể tải xuống ứng dụng macOS từ trang chủ hoặc sử dụng terminal:

# Tải bản build cho Apple Silicon
cd ~/Downloads
curl -L -o Ollama-darwin.zip https://ollama.com/download/Ollama-darwin.zip
# Giải nén và di chuyển vào thư mục Applications
unzip -o -q Ollama-darwin.zip
mv Ollama.app /Applications/

Bước 2: Cấu hình PATH

Để chạy lệnh ollama từ bất kỳ đâu trong terminal:

# Tạo thư mục bin cục bộ và tạo liên kết tượng trưng (symlink)
mkdir -p ~/.local/bin
ln -sf /Applications/Ollama.app/Contents/Resources/ollama ~/.local/bin/ollama

# Thêm vào cấu hình zsh
echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.zshrc
# Áp dụng cho shell hiện tại
export PATH="$HOME/.local/bin:$PATH"
ollama --version

Bước 3: Khởi chạy máy chủ

# Khởi chạy server và ghi log
mkdir -p ~/.ollama/logs
nohup ollama serve > ~/.ollama/logs/serve.log 2>&1 &

# Kiểm tra trạng thái
curl -s http://127.0.0.1:11434/api/version

Bước 4: Tải mô hình

ollama pull qwen3:8b     
ollama list

Tương tác với mô hình

Chat tương tác: Chạy ollama run qwen3:8b. Bạn sẽ thấy các token "suy nghĩ" (thinking tokens) trước khi mô hình đưa ra câu trả lời.
Lệnh một lần (One-Shot): ollama run qwen3:8b "viết một script python đếm nguyên âm trong từ".
HTTP API: Bạn có thể tích hợp vào ứng dụng Python thông qua urllib hoặc requests gửi tới http://127.0.0.1:11434/api/generate.

Mẹo tối ưu hóa

Tắt "Thinking" tokens: Nếu bạn muốn câu trả lời nhanh, hãy dùng --think=false hoặc --hidethinking.
Tích hợp VS Code: Sử dụng extension Continue.dev. Cấu hình file ~/.continue/config.yaml để trỏ tới server Ollama cục bộ của bạn.

Việc sở hữu một "bộ não" AI riêng trên máy tính không còn là đặc quyền của các nhà phát triển chuyên nghiệp. Với sự phát triển của các mô hình như Qwen 3, tương lai của AI cục bộ đang trở nên cực kỳ hứa hẹn.