thaivibecoding

งาน: รันบนเครื่อง

Local AI ใช้ตัวไหน

Local AI คือการรันโมเดล AI บนคอมของตัวเอง ไม่ต้องส่งข้อความไปที่เซิร์ฟเวอร์ของใคร ทั้ง 7 ตัวใช้ฟรี ที่ต่างกันคือเป็นแอปกดใช้หรือต้องพิมพ์คำสั่ง เปิด API แบบไหน และทำอะไรได้นอกจากแชต เลือกจากสิ่งที่คุณจะทำด้านล่าง

สรุปเร็ว: งานไหนใช้ตัวไหน

ราคา ระบบที่ใช้ได้ หน้าตา และ API

ราคาและลิขสิทธิ์ระบบที่ใช้ได้หน้าตาAPI ในเครื่อง
Ollama
แพลตฟอร์ม
ฟรี MIT License ส่วน cloud มีแผน $0 ถึง $500 / mo.Windows 10 22H2+, macOS 14+, Linux (amd64, arm64), Dockerแอปเดสก์ท็อป (macOS, Windows) และ command linehttp://localhost:11434 เข้ากับ OpenAI และ Anthropic API
LM Studio
แพลตฟอร์ม
ฟรีทั้งที่บ้านและที่ทำงาน เป็นซอฟต์แวร์ปิดmacOS (Apple Silicon), Windows, Linuxแอปมีหน้าต่าง มี lms สำหรับ terminallocalhost:1234 แบบ OpenAI และ Anthropic
Jan
แพลตฟอร์ม
ฟรี โอเพนซอร์ส Apache 2.0 ไม่มีแผนเสียเงินmacOS 13.6+ (Apple Silicon), Windows 10+, Linuxแอปเดสก์ท็อปมีหน้าต่าง ไม่ต้องพิมพ์คำสั่งhttp://127.0.0.1:1337/v1 แบบ OpenAI และ Anthropic
llama.cpp
แพลตฟอร์ม
ฟรี โอเพนซอร์ส สัญญาอนุญาต MITWindows, macOS, Linux, Docker; แอปมี Mac และ Windows 11คำสั่งใน terminal, web UI ในเบราว์เซอร์ และแอป Llama127.0.0.1 port 9931 หรือ 8080 เข้ากันกับ OpenAI API
Open WebUI
แพลตฟอร์ม
ฟรี ใช้ Open WebUI License ต้องคงแบรนด์เดิมไว้macOS, Linux, Windows ผ่าน Docker หรือ Pythonหน้าเว็บในเบราว์เซอร์ มีแอปเดสก์ท็อป Early Alphalocalhost:3000 (Docker) หรือ :8080 แบบ OpenAI
AnythingLLM
แพลตฟอร์ม
Desktop และ Docker ฟรี (MIT), Cloud เริ่ม $50 /monthlyWindows 10+, macOS (M-Series/Intel), Linux, Dockerแอปมีหน้าต่าง ส่วน Docker ใช้ผ่านเบราว์เซอร์port 3001, /api/v1/openai ใช้ workspace เป็น model
GPT4All
แพลตฟอร์ม
ฟรี โอเพนซอร์ส MIT License ไม่มีแผนเสียเงินWindows 10+, macOS 12.6+, Ubuntu 22.04+ (x86-64)แอปเดสก์ท็อปมีหน้าต่าง มี Python SDK และ CLIlocalhost:4891/v1 แบบ OpenAI เฉพาะในเครื่อง

รายละเอียดทีละงาน

มือใหม่ที่อยากได้แอปกดใช้

ต้องติดตั้งด้วยตัวติดตั้งปกติ ดาวน์โหลดโมเดลจากในแอปได้ และแชตได้โดยไม่ต้องเปิด terminal (หน้าจอพิมพ์คำสั่ง)

เริ่มที่ตัวนี้LM Studio

เป็นแอปเดสก์ท็อปที่ติดตั้งด้วยตัวติดตั้งแบบหน้าต่าง โหมด User แสดงเฉพาะหน้าแชตและตั้งค่าให้อัตโนมัติ ดาวน์โหลดโมเดลจากแท็บ Discover ได้โดยไม่ต้องพิมพ์คำสั่ง ใช้ฟรีทั้งที่บ้านและที่ทำงาน

  • Janได้
    เป็นแอปมีหน้าต่างบนทั้งสามระบบ ไม่ต้องสมัครบัญชี เปิดครั้งแรกจะดาวน์โหลดโมเดลเริ่มต้นให้เอง และ Hub ติดป้าย Fits, May be slow หรือ Won't fit ให้ทุกโมเดล
  • AnythingLLMได้
    Desktop เป็นแอปติดตั้งแบบ one-click ที่มี built-in LLM provider เลือกโมเดลที่จะดาวน์โหลดได้ตอนเปิดครั้งแรก ไม่ต้องสมัครบัญชี ยกเว้นบน Linux ที่ติดตั้งด้วยสคริปต์ใน terminal (หน้าจอพิมพ์คำสั่ง)
  • GPT4Allได้
    มีตัวติดตั้งสำหรับ Windows, macOS และ Ubuntu เปิดแอปแล้วกด Start Chatting, + Add Model, Download และ Load Default Model ไม่มีขั้นตอนไหนต้องพิมพ์คำสั่ง
  • Ollamaได้บางส่วน
    มีแอปเดสก์ท็อปบน macOS และ Windows ที่มีขั้นตอนตั้งค่าตอนเปิดครั้งแรก และดาวน์โหลดโมเดลในแอปได้ แต่การใช้งานเกือบทั้งหมดอธิบายผ่านคำสั่งใน terminal ยังไม่มีข้อมูลฟีเจอร์แชตของแอป และไม่มีแอปเดสก์ท็อปบน Linux
  • llama.cppได้บางส่วน
    ตัว llama.cpp เป็น engine และคำสั่งใน terminal แต่ทีมเดียวกันมีแอป Llama สำหรับ Mac และ Windows 11 ที่ติดตั้งโมเดลแนะนำได้ในคลิกเดียว ส่วน Linux มีแต่แบบ command line
  • Open WebUIได้บางส่วน
    มีแอปเดสก์ท็อปที่ดาวน์โหลดแล้วเปิดใช้ได้โดยไม่ต้องใช้ Docker หรือ terminal (หน้าจอพิมพ์คำสั่ง) แต่ยังเป็น Early Alpha ส่วนวิธีติดตั้งหลักคือ Docker, pip และ uv ต้องพิมพ์คำสั่ง

คอมแรม 8GB หรือไม่มีการ์ดจอ

ต้องรันด้วย CPU อย่างเดียวได้ และบอกให้ชัดว่าโมเดลไหนพอดีกับเครื่อง ทุกตัวรันบน CPU ได้ แต่ส่วนใหญ่แนะนำแรม 16GB จึงไม่มีตัวไหนได้เต็ม

เริ่มที่ตัวนี้Jan

RAM 8GB เป็นขั้นต่ำที่เขียนไว้บน Windows และ Linux และ Hub ติดป้าย Fits, May be slow หรือ Won't fit ให้ทุกโมเดลตามเครื่องของคุณ มีโมเดลเล็กของ Jan เอง เช่น Lucy 1.7B ที่ต้องการขั้นต่ำ 4GB ถ้าการ์ดจอมี VRAM ไม่ถึง 6 GB Jan จะรันบน CPU ให้

  • Ollamaได้บางส่วน
    รันด้วย CPU อย่างเดียวได้ และหน้าค้นหาโมเดลกรองขนาด Up to 8 GB ได้ แต่ไม่ได้บอก RAM ขั้นต่ำ ตัวเลขที่มีคือ Gemma 4 E2B แนะนำ VRAM ว่าง 8 GB ถ้า VRAM น้อยกว่านั้น Ollama ใช้ RAM ของเครื่องแทนได้ แต่ตอบช้าลง
  • LM Studioได้บางส่วน
    แนะนำ RAM 16GB ขึ้นไป Mac ที่มี 8GB ยังใช้ได้แต่ควรใช้โมเดลเล็กและ context ไม่มาก บน Windows การ์ดจอที่มี VRAM 4GB เป็นคำแนะนำ ไม่ใช่ข้อบังคับ และปิดการใช้การ์ดจอได้ แต่ CPU แบบ x64 ต้องรองรับ AVX2
  • llama.cppได้บางส่วน
    รันด้วย CPU อย่างเดียวได้ และมีตัวอย่าง Gemma-4 E4B แบบ 4-bit ที่ใช้ memory ราว 6GB ที่ context 16k token แต่ยังไม่มีคำแนะนำสำหรับเครื่องแรม 8GB และรายการแนะนำบน llama.app เริ่มที่ 16 GB
  • Open WebUIได้บางส่วน
    ตัว Open WebUI เองเบา แอปเดสก์ท็อปแบบ Remote Only ใช้ RAM 4 GB และมีโปรไฟล์สำหรับ Raspberry Pi / <4GB RAM แต่ Open WebUI ไม่ได้รันโมเดล ถ้ารันโมเดลในเครื่อง แอปเดสก์ท็อปบอกว่า RAM 16 GB+ และ 7B ≈ 8 GB, 13B ≈ 16 GB
  • AnythingLLMได้บางส่วน
    สเปกที่ให้ไว้สำหรับ Desktop คือ RAM 16GB และ CPU 8-core ไม่ได้บอกแนวทางสำหรับเครื่อง RAM 8GB ถ้าไม่มี GPU จะรันบน CPU โดยประสิทธิภาพลดลง ตัวแอปเองเบา ถ้าให้โมเดลรันที่เครื่องอื่นหรือบนคลาวด์ Docker ต้องการ RAM ขั้นต่ำ 2GB
  • GPT4Allได้บางส่วน
    ไม่บังคับให้มีการ์ดจอ แต่ RAM ขั้นต่ำเขียนไว้ที่ 16GB (8GB สำหรับโมเดล 3B) ขณะที่รายการโมเดลในแอปบอกว่าโมเดล 7B-8B แบบ q4_0 ใช้ RAM 8 GB และโมเดล 1B-4B ใช้ 2-4 GB

ใช้การ์ดจอหรือ Apple Silicon ให้เต็ม

ต้องรองรับการ์ดจอที่มี ทั้ง NVIDIA, AMD และ Apple Silicon และกำหนดได้ว่าจะส่งงานให้การ์ดจอเท่าไร

เริ่มที่ตัวนี้llama.cpp

มี backend ครบที่สุดในหน้านี้: CUDA, HIP (ROCm), Vulkan, SYCL และ Metal กำหนดจำนวน layer บนการ์ดจอด้วย -ngl เป็น auto, all หรือตัวเลข และแบ่งโมเดลข้ามหลายการ์ดจอได้ ข้อแลกคือใช้งานผ่านคำสั่งเป็นหลัก ถ้าอยากได้แอป LM Studio และ Jan ก็ได้เต็มในข้อนี้

  • Ollamaได้
    รองรับ NVIDIA compute capability 5.0 ขึ้นไป, AMD ผ่าน ROCm v7, การ์ดจออื่นผ่าน Vulkan, Apple Metal และ MLX บน Apple Silicon ถ้าโมเดลไม่พอดีในการ์ดจอใบเดียวจะกระจายไปทุกใบ และ ollama ps แสดงสัดส่วน CPU/GPU ที่โมเดลใช้
  • LM Studioได้
    มีเอนจิน MLX บน Apple Silicon และเอนจิน CUDA สำหรับ NVIDIA ตั้งสัดส่วนงานที่ส่งให้การ์ดจอได้ตั้งแต่ 0 ถึง max และจัดสรรหลายการ์ดจอได้ โดยตัวควบคุมหลายการ์ดจอบางตัวใช้ได้เฉพาะ CUDA
  • Janได้
    NVIDIA ใช้ CUDA 13 ที่มากับแอป AMD, Intel Arc และ NVIDIA รุ่นเก่าใช้ Vulkan ส่วน Apple Silicon เปิด Metal เป็นค่าเริ่มต้น มีการตั้ง GPU Layers และการใช้หลายการ์ดจอ แต่ AMD ROCm/HIP บน Windows ต้องดาวน์โหลด backend เอง
  • Open WebUIได้บางส่วน
    การใช้การ์ดจอรันโมเดลเป็นงานของตัวรันที่ต่ออยู่ ไม่ใช่ของ Open WebUI ฝั่ง Open WebUI มี image :cuda สำหรับ Nvidia ส่วน Docker Desktop บน macOS ไม่มี GPU และยังไม่มีข้อมูลเรื่อง Metal หรือ MLX ของ Apple Silicon
  • AnythingLLMได้บางส่วน
    ตัวติดตั้งบน Windows ลง NVIDIA CUDA, AMD ROCm/Vulkan และ NPU ให้อัตโนมัติ และ Mac ชิป M-Series รัน local LLM ได้โดยไม่ต้องมีฮาร์ดแวร์เพิ่ม แต่ยังไม่มีข้อมูลการตั้งค่า GPU layers, หลาย GPU หรือ MLX ในตัวรันในตัว โดย MLX ใช้ได้ผ่าน oMLX ที่เป็นโปรแกรมแยก
  • GPT4Allได้บางส่วน
    รองรับ CUDA (NVIDIA), Vulkan (NVIDIA และ AMD เฉพาะไฟล์ fp16, Q4_0, Q4_1) และ Metal (Apple Silicon M1 ขึ้นไป) พร้อมค่า GPU Layers แต่การใช้หลายการ์ดจอยังไม่ชัด ไม่ได้เอ่ยถึง MLX และ Windows ARM ใช้ได้แค่ CPU

เปิด API ให้โปรแกรมอื่นมาต่อ

ต้องเปิดเซิร์ฟเวอร์ในเครื่องที่เข้ากับ OpenAI API ได้ เพราะโปรแกรมส่วนใหญ่ต่อด้วยรูปแบบนี้ เช่น เอเจนต์เขียนโค้ดและ editor

เริ่มที่ตัวนี้Ollama

เซิร์ฟเวอร์อยู่ที่ http://localhost:11434 ตั้งแต่ติดตั้งเสร็จ มี endpoint ทั้งแบบ OpenAI และแบบ Anthropic และมีคำสั่ง ollama launch สำหรับเปิดเอเจนต์ภายนอกให้ใช้โมเดลในเครื่อง ตัวอื่นที่ได้เต็มในข้อนี้คือ LM Studio (port 1234), Jan (port 1337) และ llama.cpp

  • LM Studioได้
    เซิร์ฟเวอร์เปิดที่ http://localhost:1234 มี /v1/chat/completions, /v1/responses, /v1/embeddings, /v1/completions และ /v1/models แบบ OpenAI และ /v1/messages แบบ Anthropic
  • Janได้
    มีเซิร์ฟเวอร์ในตัวที่ http://127.0.0.1:1337 มี /v1/models, /v1/chat/completions และ /v1/messages แบบ Anthropic ตั้ง API key, CORS, Trusted Hosts และผูกกับ 0.0.0.0 ได้
  • llama.cppได้
    llama serve เปิด endpoint แบบ OpenAI คือ /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings และ /v1/models และแบบ Anthropic คือ /v1/messages
  • Open WebUIได้
    POST /api/chat/completions เข้ากันได้กับ OpenAI มี /api/v1/messages แบบ Anthropic Messages และ proxy ของ Ollama ที่ /ollama/<api> ต้องใช้ API key ที่แอดมินเปิดให้ก่อน คำขอถูกส่งต่อไปยังตัวรันโมเดล และ API ยังเป็น experimental setup
  • AnythingLLMได้บางส่วน
    มี developer API ที่ port 3001 พร้อม /v1/openai/chat/completions แต่ค่า model ต้องเป็น workspace slug จึงเป็นการเรียก workspace พร้อมไฟล์ในนั้น ไม่ใช่เรียกโมเดลตรง ๆ ยังไม่มีข้อมูลวิธีต่อกับ coding agent หรือ editor
  • GPT4Allได้บางส่วน
    มีเซิร์ฟเวอร์แบบ OpenAI ที่ http://localhost:4891/v1 มี 4 endpoint (models, completions, chat completions) แต่รับเฉพาะ HTTP เฉพาะ localhost ไม่มี endpoint สำหรับ embeddings และต้องเปิดจากในแอปเดสก์ท็อป

ถามตอบจากไฟล์ของตัวเอง

ต้องใส่ไฟล์ PDF หรือไฟล์ Word แล้วถามได้ โดยมีการทำดัชนีไฟล์ในเครื่องให้เอง ไม่ต้องต่อโปรแกรมเพิ่ม

เริ่มที่ตัวนี้AnythingLLM

แนบไฟล์และ embed ไฟล์เข้า workspace ได้ในตัว มีทั้ง embedder และ vector database (LanceDB) มาให้โดยไม่ต้องติดตั้งอะไรเพิ่ม และแอป Desktop มีตัวรันโมเดลในตัว จึงเริ่มได้ด้วยแอปเดียว

  • Janได้
    ไฟล์ใน Project ถูกหั่นและทำดัชนีไว้ค้นคืน (PDF, Markdown, DOCX, XLSX, PPTX, ไฟล์โค้ด) และแนบไฟล์กับข้อความเดียวได้ ประมวลผลในเครื่อง แต่ใช้กับ engine MLX ไม่ได้เพราะ MLX ไม่มี embeddings
  • Open WebUIได้
    มี RAG ในตัว ลากไฟล์ลงแชตเพื่อถามได้ทันที หรือสร้าง Knowledge base ที่ Workspace > Knowledge image :main มีโมเดล embedding ในตัวที่รันบน CPU
  • GPT4Allได้
    LocalDocs ทำ index จากโฟลเดอร์ด้วยโมเดล embedding ของ Nomic ที่รันบนเครื่อง และแสดง Sources ใต้คำตอบ ชนิดไฟล์เริ่มต้นคือ .txt, .pdf, .md, .rst และมี .docx เพิ่มในรุ่นหลัง
  • Ollamaได้บางส่วน
    ไม่มีฟีเจอร์แชตกับไฟล์หรือ knowledge base ในตัว Ollama ให้ embeddings ผ่าน /api/embed สำหรับทำ RAG (ค้นข้อมูลมาประกอบคำตอบ) เอง หรือใช้โปรแกรมอื่นมาต่อ เช่น Onyx
  • LM Studioได้บางส่วน
    แนบไฟล์ .docx, .pdf และ .txt เข้าแชตได้ ไฟล์สั้นถูกใส่ทั้งไฟล์ ไฟล์ยาวใช้ RAG (ดึงเฉพาะส่วนที่เกี่ยวข้องมาตอบ) ซึ่งบางครั้งต้องปรับแต่งเอง ยังไม่มีข้อมูลเรื่องคลังความรู้ถาวรในแอป
  • llama.cppได้บางส่วน
    web UI แนบ PDF และไฟล์ข้อความในแต่ละแชตได้ และเซิร์ฟเวอร์มี endpoint สำหรับ embedding และ reranking แต่ยังไม่มีข้อมูลเรื่องคลังความรู้หรือดัชนีไฟล์ในตัว

ทำเอเจนต์ที่ใช้ tools หรือ MCP

ต้องต่อ MCP server (ตัวเชื่อมให้โมเดลเรียกใช้โปรแกรมอื่น) ได้ และให้โมเดลในเครื่องเรียก tools ได้ โดยไม่ต้องพึ่งคลาวด์

เริ่มที่ตัวนี้LM Studio

แอปเป็น MCP Host สำหรับ MCP server ทั้งแบบ local และ remote ใช้ MCP ผ่าน API ได้ และมี SDK ภาษา Python กับ TypeScript สำหรับสร้างเอเจนต์ที่รันในเครื่องทั้งหมด เป็นตัวเดียวในหน้านี้ที่ได้เต็มในข้อนี้

  • Ollamaได้บางส่วน
    tool calling ใช้กับโมเดลในเครื่องได้ และ ollama launch เปิดเอเจนต์ภายนอกให้ใช้โมเดลในเครื่อง แต่ Ollama เองไม่ใช่เอเจนต์หรือ MCP client และ web search ต้อง sign in และใช้คลาวด์
  • Janได้บางส่วน
    Jan เป็น MCP host และโมเดล local ที่ทำ tool calling ได้ใช้ tools ได้ โดยต้องอนุมัติทีละครั้ง แต่เซิร์ฟเวอร์ STDIO ต้องมี NodeJS หรือ Python โมเดลโอเพนซอร์สหลายตัวไม่ได้ออกแบบมาให้ใช้ tools Web Search ต้องต่อเน็ต และ Cowork มีเฉพาะช่อง nightly
  • llama.cppได้บางส่วน
    function calling ใช้ได้กับทุกโมเดล และเซิร์ฟเวอร์โหลด MCP server แบบ stdio กับ tools ในตัวสำหรับไฟล์และ shell ได้ แต่ MCP และ tools ในตัวยังอยู่ในขั้นทดลอง และ llama.cpp ไม่มี agent framework มาให้
  • Open WebUIได้บางส่วน
    รองรับ native tool calling, Python Tools, OpenAPI และ MCP แบบ Streamable HTTP ที่แอดมินเท่านั้นเพิ่มได้ ใช้ออฟไลน์ได้ แต่ต้องมีโมเดลในเครื่องที่เรียก tools ได้ และต้องเตรียมโมเดลกับ cache ให้ครบก่อนตัดอินเทอร์เน็ต
  • AnythingLLMได้บางส่วน
    เอเจนต์, custom skills, Agent Flows และ MCP ใช้กับโมเดลในเครื่องได้บน Desktop และ Docker แต่ขึ้นกับความสามารถ tool calling ของโมเดล โมเดลเล็กที่ quantize หนักมักเรียก tool พลาด ส่วน web search และ MCP server ระยะไกลต้องใช้อินเทอร์เน็ต และ MCP รองรับเฉพาะ Tools
  • GPT4Allไม่ได้
    มีเพียง javascript code interpreter ที่ติดมากับแอปตั้งแต่ v3.6.0 ยังไม่มีข้อมูลเรื่อง MCP หรือการเพิ่ม tool เอง และ web search มีเฉพาะในรุ่น beta แยกของปี 2024

ตั้งเซิร์ฟเวอร์ให้ทั้งทีมใช้

ต้องมีบัญชีผู้ใช้หลายคน กำหนดสิทธิ์ได้ และเปิดผ่านเบราว์เซอร์จากเครื่องอื่นได้ ไม่ใช่แค่เปิด port ให้เครื่องอื่นเรียก

เริ่มที่ตัวนี้Open WebUI

รองรับผู้ใช้หลายคนในตัว มีบทบาท Admin, User และ Pending มี groups, permissions, SSO และ SCIM เซิร์ฟเวอร์เครื่องเดียวรันโมเดลให้ทั้งทีมใช้ผ่านเบราว์เซอร์ได้ ต้องมีตัวรันโมเดลอย่าง Ollama อยู่ข้างหลัง เพราะ Open WebUI เป็นหน้าจอ ไม่ได้รันโมเดลเอง

  • AnythingLLMได้
    Docker รองรับหลายผู้ใช้ด้วย role แบบ Admin, Manager และ Default เปิดผ่านเบราว์เซอร์ที่ port 3001 แต่ไม่มี LLM ในตัว ต้องต่อกับตัวรันโมเดลแยกหรือ cloud API ส่วน Desktop ใช้ได้คนเดียว
  • Ollamaได้บางส่วน
    เปิดให้เครื่องอื่นเข้าได้ด้วย OLLAMA_HOST ปรับ OLLAMA_NUM_PARALLEL (ค่าเริ่มต้น 1) และ OLLAMA_MAX_QUEUE (ค่าเริ่มต้น 512) ได้ รันเป็น systemd service หรือ Docker ได้ แต่ API ในเครื่องไม่มีการยืนยันตัวตนหรือการจัดการผู้ใช้ ต้องคุมสิทธิ์ด้วย proxy หรือโปรแกรมอื่น
  • LM Studioได้บางส่วน
    มี Serve on Local Network, API Tokens, คำขอขนานกัน (ค่าเริ่มต้น 4), llmster แบบไม่มีหน้าต่าง และ LM Link ให้หลายคนใช้เครื่องเดียวกันได้ แต่ยังไม่มีข้อมูลระบบจัดการผู้ใช้หรือฟีเจอร์แอดมิน และ LM Link ยังอยู่ช่วง Preview
  • Janได้บางส่วน
    เซิร์ฟเวอร์ในแอปผูกกับ 0.0.0.0 พร้อม API key และ Trusted Hosts ได้ และ llama.cpp มี Parallel Sequences กับ Continuous Batching แต่แอปเดสก์ท็อปไม่มีบัญชีผู้ใช้หรือหน้าแอดมิน งานหลายผู้ใช้ต้องใช้โปรเจกต์แยกชื่อ Jan Server (ใช้ Docker) หรือ Tokamak
  • llama.cppได้บางส่วน
    มี slot ทำงานขนานสำหรับหลายผู้ใช้ API key หลายชุด --host 0.0.0.0 router mode และ /metrics แต่ไม่มีระบบจัดการผู้ใช้ และคำแนะนำด้านความปลอดภัยคือไม่เปิด llama-server ให้เครือข่ายที่ไม่น่าไว้ใจ
  • GPT4Allไม่ได้
    เซิร์ฟเวอร์รับการเชื่อมต่อเฉพาะ localhost (127.0.0.1) เครื่องอื่นจึงต่อเข้ามาไม่ได้ และไม่มีระบบหลายผู้ใช้ การยืนยันตัวตน หรือฟีเจอร์ของแอดมิน

ใช้งานเป็นภาษาไทย

มีสองเรื่องแยกกัน คือหน้าจอของโปรแกรมเป็นภาษาไทยหรือไม่ และโมเดลที่โหลดมาตอบภาษาไทยได้หรือไม่ เรื่องหลังขึ้นกับโมเดล ไม่ใช่โปรแกรม และยังไม่มีตัวไหนบอกชื่อโมเดลที่รองรับภาษาไทย จึงไม่มีตัวไหนได้เต็ม

เริ่มที่ตัวนี้Open WebUI

มีหน้าจอภาษาไทยมาในตัว (locale th-TH) ที่แปลแล้วราว 95% ของข้อความ ส่วน LM Studio มีภาษาไทยในรายชื่อภาษาที่ชุมชนช่วยแปล แต่ไม่ได้บอกว่าแปลครบแค่ไหน

  • LM Studioได้บางส่วน
    ภาษาไทย (th) อยู่ในรายชื่อภาษาของหน้าจอแอปที่ชุมชนช่วยแปล แต่ไม่ได้บอกว่าแปลครบแค่ไหน ยังไม่มีโมเดลใดในแคตตาล็อกที่บอกว่ารองรับภาษาไทย และไม่มีคู่มือภาษาไทย
  • Ollamaยังไม่ชัด
    ยังไม่มีข้อมูลเรื่องภาษาไทย ทั้งภาษาของหน้าจอแอป คู่มือภาษาไทย และโมเดลในคลังที่บอกว่ารองรับภาษาไทย
  • llama.cppยังไม่ชัด
    ยังไม่มีข้อมูลเรื่องหน้าจอภาษาไทยหรือโมเดลที่บอกชื่อภาษาไทย มีแต่ตัวเลขรวม เช่น Gemma 4 รองรับ 140+ languages และ Qwen 3.5 Small รองรับ 201 languages
  • Janไม่ได้
    หน้าจอแอปไม่มีภาษาไทย (มี 17 ภาษา) คู่มือเป็นภาษาอังกฤษ และไม่มีโมเดลของ Jan ตัวใดที่บอกว่ารองรับภาษาไทย ยังไม่มีข้อมูลว่าโมเดลที่ดาวน์โหลดมาตอบภาษาไทยได้แค่ไหน
  • AnythingLLMไม่ได้
    หน้าจอไม่มีภาษาไทย ไม่ได้บอกชื่อโมเดลที่รองรับภาษาไทย และ embedder เริ่มต้นฝึกจากข้อมูลภาษาอังกฤษเป็นหลัก โดยเปลี่ยนเป็น multilingual-e5-small ได้ การแชตภาษาไทยขึ้นกับโมเดลที่คุณเลือกทั้งหมด
  • GPT4Allไม่ได้
    หน้าจอแอปมี 7 ภาษาและไม่มีภาษาไทย ไม่มีโมเดลตัวไหนในรายการของแอปที่บอกว่ารองรับภาษาไทย Llama 3.2 บอกเพียงว่าใช้กับบทสนทนาหลายภาษา

คำถามที่คนถามเรื่อง Local AI

Local AI คืออะไร

Local AI คือการรันโมเดล AI บนคอมของตัวเองแทนการใช้ผ่านเว็บของผู้ให้บริการ ต้องมีสองอย่าง คือโปรแกรมที่ใช้รันโมเดล เช่น Ollama หรือ LM Studio และไฟล์โมเดลที่ดาวน์โหลดมาเก็บในเครื่อง ซึ่งมักมีขนาดหลาย GB

Local AI ตัวไหนดี

ถ้าอยากได้แอปที่กดใช้ได้เลย เริ่มที่ LM Studio หรือ Jan ถ้าจะให้โปรแกรมอื่นมาต่อผ่าน API ใช้ Ollama ถ้าจะถามตอบจากไฟล์ ใช้ AnythingLLM ถ้าจะให้ทั้งทีมใช้ผ่านเบราว์เซอร์ ใช้ Open WebUI คู่กับ Ollama ส่วน llama.cpp เหมาะกับคนที่อยากคุมการ์ดจอและการตั้งค่าเองทั้งหมด

คอมแรม 8GB รัน Local AI ได้ไหม

ได้กับโมเดลขนาดเล็ก Jan เขียนขั้นต่ำไว้ที่ RAM 8GB บน Windows และ Linux และมีโมเดล Lucy 1.7B ที่ต้องการขั้นต่ำ 4GB LM Studio บอกว่า Mac ที่มี 8GB ยังใช้ได้กับโมเดลเล็กและ context ไม่มาก ส่วนตัวอื่นส่วนใหญ่แนะนำ 16GB ขึ้นไป

ไม่มีการ์ดจอ รัน Local AI ได้ไหม

ได้ ทุกตัวในหน้านี้รันด้วย CPU อย่างเดียวได้ แต่ตอบช้ากว่าการใช้การ์ดจอ LM Studio และ Jan ต้องการ CPU ที่รองรับชุดคำสั่ง AVX2 และ Open WebUI ไม่ได้รันโมเดลเอง สเปกจึงขึ้นกับตัวรันที่ต่ออยู่

ต้องติดตั้งทั้ง LM Studio และ Ollama ไหม

ไม่ต้อง ตัวใดตัวหนึ่งก็รันโมเดลและเปิด API ได้ครบ LM Studio เป็นแอปมีหน้าต่างที่มีหน้าแชตในตัว Ollama ใช้ผ่านคำสั่งเป็นหลักและมีแอปเดสก์ท็อปบน macOS กับ Windows ตัวที่ต้องลงคู่กับตัวอื่นคือ Open WebUI ซึ่งเป็นหน้าจอและต้องมีตัวรันโมเดลอยู่ข้างหลัง

แต่ละตัวใช้ port อะไร

Ollama ใช้ 11434, LM Studio ใช้ 1234, Jan ใช้ 1337, GPT4All ใช้ 4891, AnythingLLM ใช้ 3001 และ Open WebUI ใช้ 3000 เมื่อรันด้วย Docker หรือ 8080 ส่วน llama.cpp มีสองค่าในคู่มือของตัวเอง คือ 9931 และ 8080

Local AI ใช้ฟรีไหม ใช้ในบริษัทได้ไหม

ทั้ง 7 ตัวใช้ฟรี Ollama, llama.cpp และ GPT4All เป็นโอเพนซอร์สแบบ MIT ส่วน Jan เป็น Apache 2.0 LM Studio เป็นซอฟต์แวร์ปิดที่ใช้ฟรีทั้งที่บ้านและที่ทำงาน Open WebUI ใช้ Open WebUI License ที่ต้องคงแบรนด์เดิมไว้ และ AnythingLLM มีโค้ดแบบ MIT โดยแอป Desktop มีข้อตกลงการใช้งานแยก ส่วนที่เสียเงินคือบริการคลาวด์ เช่น Ollama cloud และ AnythingLLM Cloud

Local AI รองรับภาษาไทยไหม

หน้าจอภาษาไทยมีใน Open WebUI (แปลแล้วราว 95%) และ LM Studio มีภาษาไทยในรายชื่อภาษาที่ชุมชนช่วยแปล ตัวอื่นไม่มีหน้าจอภาษาไทย ส่วนการตอบเป็นภาษาไทยขึ้นกับโมเดลที่โหลดมา และยังไม่มีตัวไหนในหน้านี้บอกชื่อโมเดลที่รองรับภาษาไทยไว้

GPT4All ยังพัฒนาอยู่ไหม

GPT4All ออกรุ่น v3.10.0 เมื่อกุมภาพันธ์ 2025 และมีการแก้โค้ดครั้งหลังสุดเมื่อ 27 พฤษภาคม 2025 โครงการไม่ได้ประกาศยุติ และแอปยังดาวน์โหลดมาใช้ได้ หน้านี้จึงยังมี GPT4All อยู่ แต่ไม่ได้เลือกเป็นตัวเริ่มต้นของงานใด