Belajar Menjalankan LLM Open-Source di Komputer Lokal

Artificial Intelligence (AI) semakin berkembang pesat dalam beberapa tahun terakhir. Salah satu teknologi yang paling banyak dibicarakan adalah LLM (Large Language Model). Model ini menjadi otak dari berbagai aplikasi modern seperti ChatGPT, Google Gemini, dan banyak sistem AI lainnya.

Baru-baru ini, OpenAI merilis GPT-OSS, sebuah model open-weight yang bisa dijalankan secara bebas. Hal ini membuat saya tertarik untuk mencoba sendiri bagaimana pengalaman menjalankan LLM di komputer lokal, tanpa bergantung pada layanan cloud.

Apa itu LLM?

LLM (Large Language Model) adalah sistem AI yang dilatih menggunakan jutaan hingga miliaran data teks dari berbagai sumber. Tujuannya adalah agar model ini mampu:

• Memahami bahasa manusia,
• Memberikan respons yang relevan,
• Bahkan menghasilkan teks baru yang terdengar alami.

LLM bisa digunakan untuk banyak hal, mulai dari chatbot, penulisan artikel, penerjemahan, analisis data, hingga programming assistant.

---

Apa itu Open Weight?

Biasanya, model AI seperti GPT atau Gemini hanya bisa diakses lewat API atau layanan cloud milik penyedia. Kita sebagai pengguna tidak bisa “menyentuh” langsung bobot model (hasil training).

Namun, ketika sebuah model dirilis dengan status open weight:

• Bobot model (hasil training) dibuka untuk umum,
• Developer bisa mengunduh dan menjalankannya di komputer pribadi,
• Tidak lagi 100% bergantung pada layanan cloud,
• Lebih fleksibel untuk eksperimen, riset, maupun penggunaan offline.

---

Tools yang Digunakan

1. LM Studio → Antarmuka grafis sederhana untuk menjalankan berbagai model LLM.
2. Ollama → Tool yang memudahkan load & run model dengan command line.
3. llama.cpp → Project open-source ringan untuk menjalankan model berbasis LLaMA di berbagai platform.

---

Model yang Dicoba

• OpenAI GPT-OSS:20B
• Meta Llama 3.2
• Google Gemma 3
• DeepSeek R1

---

Spesifikasi PC yang Digunakan

• 🖥️ Intel i7-4790
• 💾 RAM 12GB
• 🎮 GPU GTX 1060 6GB

---

Cara Menjalankan Model dengan Ollama

Install Ollama sesuai OS, lalu jalankan model:

# Menjalankan model Llama 3
ollama run llama3

# Menjalankan model Gemma
ollama run gemma:2b

# Menjalankan model OpenAI GPT-OSS
ollama run gpt-oss:20b

---

Cara Menjalankan Model dengan LM Studio

1. Unduh dan install LM Studio.
2. Buka aplikasi dan pilih model dari katalog.
3. Klik Download → lalu Load untuk mulai digunakan.

LM Studio juga mendukung API lokal sehingga bisa dipanggil dari aplikasi Anda.

Contoh request API (Python):

import requests

response = requests.post(
    "http://localhost:1234/v1/chat/completions",
    headers={"Content-Type": "application/json"},
    json={
        "model": "llama-3-8b-instruct",
        "messages": [{"role": "user", "content": "Hello, explain LLM in simple terms"}]
    }
)

print(response.json())

---

Hasil Pengujian

• Model 20B dapat berjalan, namun proses generate teks cukup lambat.
• Model 4B bahkan 1B terasa lebih cepat dan usable untuk eksperimen harian.

Kesimpulannya, meski hardware bukan kelas server/HPC, LLM tetap bisa dijalankan asalkan memilih ukuran model yang tepat.

---

Kesimpulan

Eksperimen ini membuka wawasan bahwa AI tidak selalu membutuhkan infrastruktur cloud super mahal. Dengan model open-weight, developer maupun enthusiast bisa belajar dan mencoba langsung di perangkat mereka sendiri.

Ini baru langkah awal. Jika punya rekomendasi model open-source lain yang menarik, tulis di kolom komentar ya! 🙌

---

Tags

#AI #LLM #OpenSource #OpenWeight #ArtificialIntelligence #DeepLearning #MachineLearning #LocalAI #Ollama #LMStudio #LlamaCPP #OpenAI #Carawebs