MCP-ImageGen ทำงานอย่างไร — สร้างภาพ Qwen Image 2.1 ด้วย RAM 5.8 GiB

ภาพประกอบ: MCP-ImageGen ทำงานอย่างไร — สร้างภาพ Qwen Image 2.1 ด้วย RAM 5.8 GiB

Qwen Image 2.1 แบบ 4-bit มีส่วนประกอบใหญ่สามก้อน คือ text encoder ราว 4 GB, transformer ราว 4 GB และ VAE ราว 1.3 GB แต่ถ้ารัน mflux ปกติที่ 1024×1024 จะได้ footprint สูงสุดราว 23.5 GiB เพราะหน่วยความจำไม่ได้ถูกปล่อยเมื่อส่วนนั้นหมดหน้าที่ MCP-ImageGen ทำให้ภาพเหมือนเดิมด้วยหน่วยความจำ 5.8 GiB ด้วยสามการแก้ที่วัดผลแล้ว

สถาปัตยกรรมโดยย่อ

MCP client (agent)
      │  stdio
      ▼
 server.py  ── tools: generate_image, edit_image
      │
      ▼
 image_runtime.py  ── ตรวจ input, ตรวจ weights, host lock, progress, เก็บไฟล์
      │
      ├─ worker.py --denoise   (encode prompt + denoise → บันทึก latents)
      └─ worker.py --decode    (โหลดเฉพาะ VAE → PNG)
  • server.py เปิด MCP surface เล็กที่สุด คือสอง tool และไม่มี tool จัดการอื่น
  • image_runtime.py เป็นด่านตรวจและตัวประสาน: ตรวจ prompt, ตรวจขนาดไฟล์ weights, ขอ host lock, เปิด worker, แปลงบรรทัด JSON progress ของ worker เป็น MCP progress, เก็บผลลัพธ์
  • worker.py เรียก QwenImage21 ของ mflux ผ่าน Python API โดยตรง ไม่ใช้ CLI ของ mflux

สูตร low-RAM สามข้อ

ตัวเลขด้านล่างวัดด้วย phys_footprint ของ process จริง (ค่าที่ Activity Monitor ใช้) เพราะ ru_maxrss ไม่นับหน่วยความจำที่ GPU ใช้ และวัดทั้งต้นไม้ process ที่ 1024×1024, 25 steps, CFG เปิด:

แบบ footprint สูงสุด เวลาต่อภาพ
mflux ปกติ (decode ทั้งภาพ) 23.5 GiB 171–172 วินาที
--low-ram ของ mflux เฉยๆ 8.5 GiB (ขึ้นไป 8.4 อีกเมื่อ cache เย็น) ไม่ได้วัดที่ 25 steps
สูตรของ MCP-ImageGen 5.8 GiB (denoise 5.75, decode ราว 4.4) 181–187 วินาที บวกราว 4 วินาทีเปิด process decode

ช้ากว่า mflux ปกติราว 4 ถึง 9% เป็นราคาของ RAM ที่น้อยกว่าสี่เท่า

1. ประเมิน prompt embeddings ก่อนที่ text encoder จะถูกปล่อย

mflux ปล่อย text encoder หลัง encode prompt เสร็จ แต่ผล encode เป็น lazy graph ที่ยังอ้างถึง weights ของ encoder อยู่ ผลคือ encoder 4 GiB ยังค้างอยู่ข้าง transformer 4 GiB (peak 7.7 GiB) การสั่ง mx.eval กับ embeddings ทันที ทั้งฝั่ง prompt และฝั่ง negative ของ CFG ตัดการอ้างอิงนั้นและปล่อย encoder ได้จริง

2. decode VAE เป็น tile 256 px

decode ทั้งภาพ 1024² ในครั้งเดียวต้องใช้ราว 19 GiB การแบ่งเป็น tile 256 px ลดลงเหลือราว 4 GiB และจำกัด MLX cache ของ process decode ที่ 256 MB (ถ้าไม่จำกัด footprint ขึ้นไป 6.9 GB สำหรับงานที่ใช้จริง 4.0 GiB)

3. decode ใน process ของตัวเอง

ข้อนี้เป็นข้อที่ได้จากการวัดแล้วพบว่าอีกสองข้อยังไม่พอ ถ้าปล่อย transformer ใน process เดิมก่อน decode แล้วหวังให้หน่วยความจำคืน: ตอนระบบมี memory pressure (มีโมเดลใหญ่โหลดอยู่และ page cache เย็น) MLX ยังถือส่วนของ transformer ราว 2.4 GiB ไว้ทั้งที่ไม่มี Python reference เหลือ แม้รอ 30 วินาทีพร้อม synchronize, gc และ clear_cache ก็ไม่คืน ทำให้ decode มี footprint 8.4 GiB ประมาณ 1 ใน 5 ถึง 8 รอบ

วิธีที่ได้ผลคือให้ worker.py เป็นตัวประสานเบาๆ ที่รัน --denoise (encode + denoise แล้วบันทึก latents) ให้จบ process ก่อน แล้วค่อยรัน --decode (โหลดเฉพาะ VAE) การจบ process คืนหน่วยความจำให้ระบบแน่นอน หลังแก้ 6 รอบ (cache เย็น 5 อุ่น 1) footprint รวมนิ่งที่ 5.76–5.77 GiB

ภาพเหมือนเดิมไหม

เทียบ prompt และ seed เดียวกัน (seed 7) 3 ชุดที่ 1024², 25 steps: portrait ชายชรา, ร้านกาแฟมีป้ายตัวอักษร, ประภาคาร ภาพต่างจากแบบปกติเฉลี่ย 0.7–1.3 จาก 255 (percentile ที่ 99 ไม่เกิน 11) ไม่เห็นริ้วสีหรือรอยต่อ tile และตัวอักษร HAPPY BEAN COFFEE สะกดถูกทั้งสองแบบ ตรวจด้วยตาจากภาพย่อครึ่งขนาด ตัวอย่าง 1 seed ต่อ prompt จึงเป็นหลักฐานระดับ “ไม่พบความต่างที่เห็นได้” ไม่ใช่การพิสูจน์ว่าเหมือนทุกกรณี

แก้ภาพใช้สูตรเดียวกัน บวกอีกสามข้อ

การแก้ภาพต้องแนบภาพอ้างอิงเข้าไปใน transformer ซึ่งกิน RAM เพิ่ม MCP-ImageGen ลดด้วย:

  • VAE encode ภาพอ้างอิงเป็น tile 256 px (ถ้าทำทั้งภาพเพิ่ม 3.5 GiB)
  • ปิด K/V cache ของ token ภาพอ้างอิง (ถ้าเปิดเพิ่ม 4.4 GiB ที่ 768 px หรือ 8 GiB ที่ 1024 px)
  • ประเมิน embeddings ฝั่ง negative ก่อนปล่อย text encoder เหมือนฝั่งสร้างภาพ

ภาพถูกย่อเหลือราว 768 px (รักษาสัดส่วน) ก่อนส่งให้ worker ได้ footprint 6.7 GiB ที่ 768 px เทียบกับ 7.9 GiB ที่ 1024 px และ 14.7 GiB ของ mflux ปกติ ฝั่งแก้ภาพใช้ checkpoint แยกที่มี vision tower ใน text encoder (5.1 GB) ส่วน decode ใช้ VAE ของฝั่งสร้างภาพ ซึ่งเหมือนกันทุกไบต์

กลไกความปลอดภัยของการทำงาน

  • ตรวจ weights แบบ fail closed: ทุกไฟล์มีขนาด pin ไว้ ไม่ตรงคือ model_not_ready ไม่มีการดาวน์โหลดหรือเดาไฟล์ทดแทน
  • ออฟไลน์ตอนรัน: ตั้ง HF_HUB_OFFLINE และ TRANSFORMERS_OFFLINE ไม่มี network ระหว่างสร้างภาพ
  • host lock: ทั้งเครื่องรันภาพได้ทีละงาน งานที่สองรอสูงสุด 15 นาทีแล้วได้ข้อผิดพลาด busy แบบมีโครงสร้าง
  • worker แยก process ต่อภาพ: จบแล้วคืน RAM ทั้งหมด มี timeout 10 นาที และ kill เฉพาะ process ที่ตัวเองสร้าง
  • ไม่รั่ว traceback: ผลลัพธ์ที่คืนให้ client มีข้อความผิดพลาดสั้นๆ ไม่มี stack trace เต็ม
  • ภาพไม่ถูก commit: ไฟล์อยู่ใน work/generated/ เก็บ 7 วัน จำกัดรวม 1 GiB และ .gitignore กันนามสกุลภาพทั่วไปไว้เป็นด่านสำรอง

รายงานความคืบหน้า

ระหว่างรอ 3 นาที worker ส่งบรรทัด JSON บอก stage และ step แล้ว image_runtime.py แปลงเป็น MCP progress notification ข้อความเป็นภาษาไทย: โหลดโมเดล, แปลง prompt, กำลังสร้างภาพ n/25, ถอดรหัสเป็นภาพ, บันทึกไฟล์ และถ้า worker เงียบเกิน 10 วินาที (เช่นโหลดโมเดลตอน cache เย็น) จะส่งซ้ำพร้อมเวลาที่ผ่านไป เพื่อให้ client ไม่ตีความว่าค้าง

ทดสอบด้วย unit test ที่ mock worker (85 เทสต์ ข้าม 2 ที่ต้องใช้โมเดลจริง) และ smoke test แบบเลือกเปิดที่สร้างภาพจริงหนึ่งภาพพร้อมตรวจว่า progress มาถึง

ตัวเลขชุดนี้วัดซ้ำบน repo สาธารณะ

ก่อนเผยแพร่ ผมติดตั้ง repo ใน venv ใหม่ตามขั้นตอนของ README แล้วเรียก tool ผ่าน MCP stdio จริง ขณะที่โมเดล 35B เปิดค้างอยู่ในเครื่อง (RAM ว่างราว 40%) วัด phys_footprint รวมของทั้งต้นไม้ process ทุกครึ่งวินาที:

งาน footprint สูงสุด เวลา
generate_image 16:9 (1280×720), 25 steps 5.78 GiB 165 วินาที
edit_image ภาพ 16:9 เป็น 1024×576, 25 steps 6.60 GiB 215 วินาที

การแปลง weights ด้วย tools/convert_weights.py ให้ไฟล์เหมือนของเดิมทุกไบต์ทั้งสองฝั่ง (ฝั่งละ 19 ไฟล์ ซึ่งรวมไฟล์ที่ pin ขนาดไว้ฝั่งละ 9 ไฟล์) ตัวเลขเหล่านี้วัดบนเครื่องเดียว ภาพปกของบทความนี้เป็นภาพ generate_image เช่นกัน (seed 20261141, 153 วินาที) ดูผลงานอื่นที่แกลเลอรี

ความคิดเห็น

กำลังโหลดความคิดเห็น...