เริ่มต้นใช้งาน ENDEAVOR LOCAL AGENT TH

ภาพประกอบ: เริ่มต้นใช้งาน ENDEAVOR LOCAL AGENT TH

ENDEAVOR LOCAL AGENT TH คือ local AI agent ที่ออกแบบให้รองรับภาษาไทยโดยเฉพาะ โมเดลหลักรันบน Mac Apple Silicon ของคุณเอง จึงไม่ต้องใช้ API key หรือจ่ายค่า token ให้ cloud LLM. คำถามหรือเนื้อหาที่ส่งผ่าน web tools และ MCP จะไปยังเว็บไซต์หรือ MCP server ที่เลือกใช้ตามการทำงานนั้น

Agent TH รองรับหลายระดับโมเดลใน runtime เดียวกัน: ค่าเริ่มต้นคือ Qwen3.5-9B-4bit (VLM) ที่ใช้ได้บน Mac Apple Silicon ที่มี unified memory 16GB, Qwen3-14B-MLX-4bit (text-only) สำหรับเครื่อง 24GB+, Qwen3.8-27B-4bit (VLM) สำหรับเครื่อง RAM สูง (แนะนำ 32GB+) และ Qwen3.6-35B-A3B-UD-MLX-4bit (MoE) สำหรับ reasoning/tool-calling headroom สูงสุด. 9B, 27B และ 35B รองรับ image input/direct vision จึงใช้ read_image และ computer แบบเห็น pixels ได้ ส่วน 2B (Qwen3.5-2B-OptiQ-4bit) มีไว้ทดสอบเล็ก ๆ เท่านั้น เพราะเล็กจนการเรียก tool ไม่น่าเชื่อถือ

หน้าจอแอป ENDEAVOR LOCAL AGENT TH แบบ light mode แถบด้านซ้ายมีเมนู Agent Workspace, Active Workspace, Activity, History, PDF MD, Translate, TTS และ Settings ตรงกลางเป็นบทสนทนา: ผู้ใช้ขอวาดกราฟแท่งยอดขาย 5 เดือน และ agent ตอบว่าสร้างกราฟแล้ว พร้อมรายการตัวเลขแต่ละเดือนและชื่อไฟล์ภาพ

หน้าจอแอป Electron ของ Agent TH: คำตอบในภาพคือคำตอบที่ Agent TH (Qwen3.5-9B-4bit) เขียนจริง ส่วนคำถามเป็นตัวอย่างที่พิมพ์เอง ภาพเรนเดอร์จากไฟล์ UI จริงของแอปโดยไม่ได้ต่อกับ agent server จึงไม่มีตัวเลข CPU / GPU / RAM

ทำอะไรได้บ้าง

พิมพ์ภาษาไทยตามงานที่ต้องการได้เลย Agent จะวิเคราะห์ query เลือก tool และวน ReAct loop เองจนกว่าจะได้คำตอบ ปัจจุบันมี 20 normal tools. Runtime มี guard กลางคอยกันการเรียก tool เดิมด้วย arguments เดิมซ้ำติดกัน: รอบที่สองจะคืน [repeat_tool_hint] โดยไม่รัน tool ซ้ำ และรอบที่สามจะหยุด turn แบบ deterministic

เครื่องมือหลักครอบคลุมงาน เช่น:

  • ค้นเว็บและอ่านหลายแหล่ง (web_search, browse_url, browser_use, recall_web) — web_search รับหลายคำค้นและ browse_url อ่านหลาย URL พร้อมกันใน call เดียว (คืนข้อความจริงที่โค้ดคัด ไม่มี LLM สรุป), browse_url ไล่ sitemap และตรวจ/ดึงตารางใน tool เดียว
  • อ่าน/สร้าง/แก้ไฟล์และค้นโค้ด — read_file อ่านพร้อมกันได้สูงสุด 4 ไฟล์พร้อม filter แยกต่อไฟล์, edit สร้างไฟล์ใหม่หรือแก้ไฟล์เดิม, และ bash ใช้ rg/rg --files ภายใต้ filesystem guard
  • รัน Bash/Python, วาดกราฟ และส่งงาน shell ระยะยาวแบบ background ด้วย bash_bg
  • อ่านภาพด้วย progressive direct vision + OCR/table/QR assist — batch ได้สูงสุด 10 ภาพ พร้อมเลือก OCR เฉพาะภาพ
  • ควบคุมหน้าจอจริงผ่าน computer
  • แปลเอกสารเป็นภาษาไทยจาก tab Translate ใน Electron (พัก/ทำต่อ/ยกเลิกได้) และแปลง PDF เป็น Markdown จาก tab PDF to MD
  • เชื่อม MCP server ผ่าน mcp_list_tools, mcp_call_tool, mcp_add_server, mcp_remove_server; ไม่มี native rag_search หรือ RAG server ติดตั้งมาให้ แต่ต่อ external RAG ได้ผ่าน MCP ที่ผู้ใช้ตั้งค่าเอง
  • จำข้อมูลข้าม session ด้วย remember
  • ตั้ง standing trigger ผ่าน awake
  • วางแผนงานหลายขั้นด้วย create_plan, ตั้ง trigger ให้ turn ใหม่ทำงานภายหลังด้วย awake, และอ่านคำตอบออกลำโพงเครื่องด้วย speak เมื่อผู้ใช้ขอ

MCP client รุ่นปัจจุบันรองรับทั้ง Streamable HTTP และ local stdio โดย public repo ไม่ผูก default MCP server มาให้ ผู้ใช้หรือ developer จึงเลือกเชื่อม MCP ของตัวเองได้ตามต้องการ และ stdio child ยังอยู่ใต้ sandbox เดียวกับ bash แทนการได้สิทธิ์เพิ่มอัตโนมัติ

ตัวอย่าง:

วิเคราะห์หุ้น PTT กับ CPALL ว่าตัวไหนน่าสนใจกว่า
→ วางแผน → ค้นหลายแหล่ง → เปรียบเทียบข้อมูล → สรุป

เทียบ config 4 ไฟล์แล้วหาค่าที่ต่างกัน
→ read_file(path=[...4 files...]) → อ่านพร้อมกัน → เปรียบเทียบ → สรุป

อ่านไฟล์ sales.csv แล้ววาดกราฟยอดขายรายเดือน
→ read_file → วิเคราะห์ด้วย Python/pandas → plot → สรุป

อ่านข้อความใน screenshot นี้แล้วสรุปให้หน่อย
→ ค่าเริ่มต้น Qwen3.5-9B (VLM) เห็น original image โดยตรง และใช้ read_image/computer แบบ direct vision ได้

ถ้าเลือก Qwen3-14B (text-only)
→ read_image ใช้ full OCR fallback อัตโนมัติ

/research สรุป @report.pdf   (เมื่อมี skill ชื่อ research ใน skills/)
→ รันหนึ่ง turn ภายใต้ skill นั้นพร้อมไฟล์ report.pdf จาก Active Workspace

ถ้าเลือก Qwen3.6-35B แล้วส่งหลายภาพ
→ read_image(source=[...]) เตรียมภาพพร้อมกันสูงสุด 10 ภาพ → main VLM เห็น original ตาม progressive contract → เลือก OCR เฉพาะภาพที่ต้องการได้

เลือกโมเดลอย่างไร

Qwen3.5-9B-4bit — ค่าเริ่มต้น (VLM) ใช้ได้บน Mac RAM 16GB

  • 16GB unified memory ใช้งาน Agent TH ได้
  • เป็น vision-language model จึงรองรับ image input, progressive read_image และ computer direct vision
  • เบากว่าโมเดลอื่น เหมาะกับงานทั่วไปและเครื่อง RAM จำกัด
  • reasoning/tool-calling ทำงานได้จริง แต่มี headroom ต่ำกว่า 27B/35B โดยเฉพาะโจทย์หลายเงื่อนไขหรือคำนวณที่ต้องแม่นสูง

Qwen3-14B — text-only สำหรับ Mac RAM 24GB+

  • 24GB unified memory เป็นขั้นต่ำเชิงปฏิบัติ, 32GB+ แนะนำ ถ้าต้องการเผื่อ macOS, KV cache และ context
  • configuration ที่ทดสอบกับโปรเจกต์นี้เป็น text-only: read_image fallback เป็น full OCR ใน turn เดียว และ computer จะ fail closed ก่อนทำ desktop action

Qwen3.8-27B-4bit — VLM ขนาดใหญ่

  • รองรับ image input และใช้ native APC แบบ native_preserve (เก็บ thinking ข้าม turn ให้ prefix cache ใช้ซ้ำได้) โดยจำกัดหน่วยความจำของ APC ที่ 6GB
  • น้ำหนักโมเดลราว 15GB (เล็กกว่า 35B ที่ราว 20GB เล็กน้อย) จึงเตือนที่ RAM ต่ำกว่า 20GB ส่วน 35B เตือนที่ต่ำกว่า 24GB; Electron/CLI จะเตือนก่อน download/load แต่ไม่บล็อก และแนะนำ 32GB+ เพื่อ headroom ของ KV cache/APC
  • ผู้เขียนวัดบน TH แล้วว่า prompt ราว 10,000 token ใช้เวลา prefill ครั้งแรกประมาณ 25 วินาที และ turn ถัดไปที่ prefix เดิมใช้ซ้ำจาก cache ได้ประมาณ 99%

Qwen3.6-35B-A3B — ตัวเลือกคุณภาพสูง

  • reasoning/planning/tool calling มี headroom สูงกว่า รองรับ image input
  • read_image ส่งภาพต้นฉบับให้ main VLM มองโดยตรง และ computer ใช้ screenshot direct vision ร่วมกับ Accessibility/OCR assist
  • ถ้าเครื่องมี RAM ต่ำกว่า 24GB Electron/CLI จะเตือนก่อน download/load แต่ไม่บล็อก

ระบบไม่ดาวน์โหลดโมเดลทั้งหมดพร้อมกัน — โหลดเฉพาะตัวที่ผู้ใช้เลือกใช้จริง. โมเดล 7B/8B ลงไปไม่ใช่ target ที่แนะนำ เพราะความน่าเชื่อถือของ reasoning, tool-call และ format ลดลงชัดเจนในงานหลายขั้น

UI ที่รองรับ 2 แบบ

  1. CLI (endeavor_agent.py) — เบา เร็ว เหมาะกับงานที่เปิดทิ้งไว้นาน
  2. Electron Desktop (AGENT_UI) — desktop app แยกหน้าต่างจริง มี Workspace / Active Workspace / Activity / History / PDF to MD / Translate / TTS / Settings และจัดการ mlx_vlm.server + authenticated agent_server.py backend ให้อัตโนมัติ

CLI กับ Electron ใช้ runtime config กลางเดียวกันสำหรับ Model / Think Budget / Server Mode / Model Server Port จึงสลับ frontend แล้วเห็นค่าและ ownership mode ชุดเดียวกัน. ส่วน browser HTML UI เดิมถูกถอดออกจาก product แล้ว agent_server.py ยังอยู่ในฐานะ backend สำหรับ Electron/custom client ไม่ใช่ UI ตัวที่สาม

Electron จะใช้ MLX server ที่มีอยู่แล้วถ้าพบว่ารันอยู่ และจะไม่สลับ/kill external server ที่ไม่ได้เป็นเจ้าของ. เมื่อ Electron เป็นเจ้าของ standalone MLX และผู้ใช้เปลี่ยน Model, Settings จะแสดง กำลังสลับโมเดล… ระหว่าง restart/load และแสดง สลับโมเดลเสร็จแล้ว · พร้อมใช้งาน หลัง runtime ยืนยันว่า model ใหม่พร้อมแล้ว. CLI ยังไม่ฆ่า external MLX จึงจะแจ้งว่า model selection ถูกบันทึกและรอ restart แทนการแสดงพร้อมใช้งานแบบผิดจริง

คำสั่ง CLI และแหล่ง metadata เดียวกัน

รายการคำสั่ง built-in เก็บใน skills/skill.json; loader/parser ใน runtime_common.py สร้างรายการตาม frontend แล้วให้ CLI และ Electron/server ใช้ registry ชุดเดียวกัน โดยแสดงเฉพาะคำสั่งที่เปิดให้แต่ละ surface:

คำสั่ง การทำงาน
/help แสดงคำสั่ง built-in และ skill ที่ใช้ได้
/runtime ดู model, Think Budget และสถานะ model server
/attach list|add <path>|clear จัดการไฟล์หนึ่งไฟล์สำหรับ turn ถัดไป; ใช้ shared path validation
/pin list|add <path...>|remove <index|path>|clear ใช้ชุดไฟล์สูงสุด 10 ไฟล์กับ turn ต่อ ๆ ไปใน CLI session; path ผ่าน shared guard
/pdf_text <path> [--rewrite-thai] แปลง PDF เป็น Markdown (.md) ด้วย pipeline กลางเดียวกับ Electron

คำสั่ง menu, /history, /compact และ /clear ยังใช้ได้. menu ใช้ปรับ Model / Think Budget / Port ผ่าน runtime config เดียวกับ Electron

Generation profile ปัจจุบัน

Agent TH ปรับค่าพื้นฐานให้เหมาะกับ tool-calling และบทสนทนาเส้นตรง:

ค่า Default
Temperature 0.1
Thinking budget 1024 tokens (High)
Repetition penalty 1.05
Recursion limit 60
APC เปิด (อยู่ใน memory เท่านั้น)
APC exact cache entries 2
APC exact prefix guard 64 tokens

mlx-vlm 0.7 เปิด disk tier ของ APC เอง (snapshot ราว 1GB ต่อ turn ยาว) ซึ่งจะเก็บ cache ที่มาจากบทสนทนาจริงลงดิสก์ถาวร — Agent TH จึงปิด (APC_DISK_ENABLED=0) และลบ snapshot ที่ค้างอยู่ทุกครั้งที่เปิด server. เหตุผลที่ exact cache ใช้ 2 slots คือ runtime เก็บทั้ง reusable guarded checkpoint และ full-prompt snapshot ทำให้บทสนทนาเส้นตรง reuse prefix ยาวได้โดยไม่ต้อง prefill system/tool/history ก้อนเดิมใหม่ทุก turn

ติดตั้งแบบเร็วที่สุด

ถ้าไม่อยากยุ่งกับ Terminal หลัง clone ให้ดับเบิลคลิก agent_start.command ที่ root ของโปรเจกต์ ครั้งแรกจะติดตั้ง conda env + AGENT_UI dependencies ให้ และครั้งต่อไปเปิด desktop app ได้โดยตรง

ถ้าต้องการเปิดเองทีละส่วน:

# 1. clone
git clone https://github.com/halochamp/ENDEAVOR_LOCAL_AGENT_TH.git
cd ENDEAVOR_LOCAL_AGENT_TH

# 2. ติดตั้ง
bash install_library/install.sh

# 3. เปิด MLX server — default ใช้ Qwen3.5-9B (ต้องใช้ mlx-vlm 0.7.10 ขึ้นไป)
conda activate mlx
APC_ENABLED=1 APC_DISK_ENABLED=0 APC_EXACT_CACHE_ENTRIES=2 APC_EXACT_PREFIX_GUARD_TOKENS=64 \
python -m mlx_vlm.server \
  --model mlx-community/Qwen3.5-9B-4bit \
  --host 127.0.0.1 \
  --port 8085

# 4. เลือก frontend
python endeavor_agent.py    # CLI
# หรือ Electron Desktop
cd AGENT_UI && npm install && npm start

ปกติ Agent TH เปิด model server ให้เองผ่าน launcher ของตัวเอง ซึ่ง ปฏิเสธการเปิดถ้า mlx-vlm เก่ากว่า 0.7.10 (ไฟล์ล็อกใน install_library/ ปักเวอร์ชันที่ผ่านการทดสอบไว้ให้แล้ว) ถ้า env ของ agent มี mlx-vlm เวอร์ชันเก่า ให้ตั้ง V2_MODEL_SERVER_PYTHON เป็น path ของ Python ใน env ที่มี 0.7.10+ แล้ว agent จะยังรันใน env เดิมได้

ถ้า process ค้างหรือ port ถูกใช้อยู่ ให้รันจาก root ของโปรเจกต์:

bash agent_stop.command

แล้วเริ่มใหม่ด้วย agent_start.command หรือคำสั่งด้านบน

ตัวเลือกเสริม: Offline, OCR ภาษาไทย, PDF to MD และอ่านออกเสียง

ทั้งหมดนี้ไม่ถูกดาวน์โหลดให้อัตโนมัติ และ agent หลักทำงานตามปกติแม้ไม่ได้ติดตั้ง

  • Internet / Offline — Settings → Internet. ค่าเริ่มต้นคือ Online; เลือก Offline เพื่อซ่อนเครื่องมือเว็บ (web_search, browse_url, browser_use, recall_web) ค่านี้ถูกบันทึกในไฟล์ user_settings.json และเป็นตัวเดียวที่ตัดสินว่าเครื่องมือเว็บถูกผูกหรือไม่ — ไม่ใช่การ ping เครือข่ายตอนเริ่ม (การ ping ครั้งเดียวที่พลาดเคยซ่อน web_search ตลอดทั้ง session). สลับได้เมื่อ agent ว่างเท่านั้น และ CLI อ่านไฟล์เดียวกัน
  • OCR — Settings → OCR เลือก Apple Vision (ค่าเริ่มต้น) หรือ OpenThai 2.0 (Apache-2.0, ทำงานบน CPU, ไฟล์โมเดลรวมราว 4 MB) ติดตั้ง OpenThai ด้วย python scripts/install_openthai_ocr.py แล้ว pip install pyclipper ทุกจุดที่ใช้ OCR (read_image, PDF to MD, computer) ใช้ตัวที่เลือกเหมือนกัน และถ้า OpenThai ใช้ไม่ได้จะถอยไป Apple Vision พร้อมบอกใน Settings
  • PDF to MD — แท็บแปลง PDF เป็น Markdown: PDF ที่มี text layer ใช้ข้อความเดิม หน้า scan ใช้ OCR ตัวเลือก LLM จะส่ง ภาพของหน้าพร้อมข้อความที่สกัดได้ทีละหน้า ให้โมเดลเขียนเป็น Markdown (หัวข้อ รายการ ตาราง) ถ้าโมเดลที่เลือกอ่านภาพไม่ได้จะส่งเฉพาะข้อความ ผลลัพธ์อยู่ที่ workspace/pdf_to_md/ ดูตัวอย่างจริงที่หน้า ผลงานตัวอย่าง
  • TTS (อ่านออกเสียง) — แท็บอ่านไฟล์ .txt / .md ออกเสียงในเครื่องด้วย OmniVoice แล้วเขียนเป็น .m4a ต้องติดตั้ง OmniVoice เองใน conda env ชื่อ omnivoice และเตรียมเสียงอ้างอิงเอง (โฟลเดอร์ใต้ workspace/text_to_speech/voices/ ที่มี ref_voice.wav ความยาว 2–8 วินาที และ ref_voice.txt) น้ำหนักโมเดลเป็น CC-BY-NC ใช้ส่วนตัว/ไม่ใช้เชิงพาณิชย์เท่านั้น เมื่อกดเข้าแท็บนี้ แอปจะถามก่อนว่าจะใช้และโหลดโมเดลเสียงหรือไม่ โมเดลถูกโหลดเมื่อเริ่มอ่านและปล่อยออกเมื่อจบงาน

สลับ Model / Think Budget

วิธีปกติคือเลือกจาก Electron Settings หรือ CLI menu → Model / Think Budget ทั้งสอง frontend ใช้ workspace/runtime_settings.json ร่วมกัน ค่า fresh/default คือ Qwen3.5-9B (VLM) และ model list มี Qwen3-14B (text-only), Qwen3.8-27B และ Qwen3.6-35B สำหรับคุณภาพสูง ระบบดาวน์โหลดเฉพาะ model ที่ถูกเปิดใช้งานจริง ไม่บังคับดึงทุกตัวพร้อมกัน

ถ้าเลือก Qwen3.8-27B บนเครื่อง RAM ต่ำกว่า 20GB หรือ Qwen3.6-35B ต่ำกว่า 24GB ระบบจะขอ confirmation ก่อน download/load เพราะ model ใหญ่และอาจใช้ swap สูง แต่ 9B ไม่มี warning นี้และเหมาะกับ Mac 16GB

สำหรับ custom backend/port ยังใช้ advanced override ได้ โดยตั้ง V2_MODEL และ MLX_BASE_URL คู่กัน เช่น:

export V2_MODEL="unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit"
export MLX_BASE_URL="http://localhost:8888/v1"

advanced override นี้ล็อก Model ใน UI ตาม backend ที่ผู้ใช้กำหนด

เรื่องความเป็นส่วนตัว

โมเดลหลักรันบนเครื่องผ่าน MLX ดังนั้น conversation/file context ไม่ถูกส่งไป cloud LLM provider โดยอัตโนมัติ

เครื่องมือที่ต้องใช้อินเทอร์เน็ต เช่น web_search, browse_url, browser_use จะติดต่อบริการค้นหา/เว็บปลายทางเมื่อ Agent เลือกใช้ ส่วน MCP ติดต่อ server ที่ผู้ใช้หรือ developer ตั้งค่าไว้

ดูเพิ่มเติม

ความคิดเห็น

กำลังโหลดความคิดเห็น...