GitHub Repo of the Week ตัวที่ 2 — คราวนี้เป็นของ Anthropic เอง
ก่อนหน้านี้เราเล่าเรื่อง Project Glasswing — AI ที่หาช่องโหว่เก่งกว่ามนุษย์ ไป ตอนนั้นมันเป็นแค่ “โปรแกรม” ที่ Anthropic ทำกับองค์กรใหญ่ คนนอกได้แต่มองตาปริบๆ
มาคราวนี้ Anthropic เปิดพิมพ์เขียวให้โหลดไปทำเองได้แล้ว ในชื่อ defending-code-reference-harness
มันคืออะไร
มันคือ ตัวอย่างจริง (reference) ของ pipeline ที่อยู่เบื้องหลัง Glasswing — เอา Claude มาตามล่าช่องโหว่ในโค้ด ตั้งแต่หา → ยืนยัน → เขียนแพตช์แก้
ที่น่าสนใจคือมันไม่ใช่ AI ตัวเดียวทำทุกอย่าง แต่เป็น ทีม AI ที่แบ่งหน้าที่กัน เหมือนทีม security จริง
ทีม AI 7 ขั้น
pipeline เต็มๆ มี 7 สเตจ (เริ่มจาก build โค้ดให้เครื่องมือจับ memory bug ได้ก่อน) — ขอหยิบตัวที่น่าสนใจมาเล่า:
- Recon — สอดแนมโค้ดก่อน แล้วแบ่งโซนว่า “ตรงไหนน่าเจาะ” เพื่อให้ตัวที่เหลือไม่ไปกองที่จุดเดียว
- Find — หลาย agent ลุยพร้อมกัน แต่ละตัวลองยิง input แปลกๆ จนโค้ด crash ให้ได้ (ต้อง crash ซ้ำ 3 ใน 3 ครั้งถึงนับ)
- Verify — agent อีกตัวที่ ไม่เคยเห็นงานของตัว Find มาลองทำซ้ำ ว่า crash จริงไหม — กันการอวยกันเอง
- Dedupe — ตัดสินว่าบั๊กนี้ใหม่ หรือซ้ำของเดิม
- Report + Patch — เขียนรายงานว่าช่องโหว่ร้ายแค่ไหน แล้วลองเสนอโค้ดแก้
จุดที่ฉลาดคือ ตัวยืนยันแยกขาดจากตัวหา — เพราะ AI ชอบ “มั่นใจในสิ่งที่ตัวเองเจอ” การมีคนละตัวมาตรวจซ้ำคือสิ่งที่ทำให้ผลเชื่อถือได้ขึ้น
ตัวเลขที่น่าสนใจกว่าตัวเครื่องมือ
ในเอกสารของ Anthropic เองมีบรรทัดนึงที่สะดุดตา — จากการสแกน open-source ของเขาเอง ณ 22 พ.ค. 2026:
เจอช่องโหว่ 1,596 จุด — แต่แก้ไปแล้วเท่าที่รู้ แค่ 97 จุด
นี่คือภาพใหญ่ของ AI security ตอนนี้: “หา” มันง่ายและขยายได้ไม่จำกัดแล้ว แต่คอขวดย้ายไปอยู่ที่ “ยืนยัน คัดกรอง และแก้” ซึ่งยังต้องอาศัยคนและเวลา
แปลว่า AI ไม่ได้ทำให้โค้ดปลอดภัยขึ้นโดยอัตโนมัติ — มันแค่ทำให้เรา เห็น ปัญหาเร็วขึ้นมหาศาล ส่วนการแก้ยังเป็นงานหนักเหมือนเดิม
ทำไม “แก้” ถึงเป็นคอขวด
ที่บอกว่าแก้ยาก ไม่ใช่เพราะ AI เขียนโค้ดแก้ไม่เป็น (harness ตัวนี้มีขั้น Patch ที่ AI เสนอโค้ดแก้ให้ด้วยซ้ำ) แต่เพราะ “แก้จริงจนจบ” มีด่านที่ AI ทำแทนคนไม่ได้:
- ต้องคัดก่อนว่าเป็นบั๊กจริง — AI หาเจอเป็นพัน แต่ไม่จริงทั้งหมด เอกสารเล่าว่ามีทีมเจอ false positive ถึง 40% เพราะ AI “เข้าใจโค้ด แต่ไม่เข้าใจบริบทของเรา” เช่นตกใจว่า “ถ้าค่านี้เพี้ยนจะพัง” ทั้งที่ค่านั้นมาจากระบบภายในที่เชื่อถือได้อยู่แล้ว
- เจ้าของโค้ดต้องตัดสินว่าคุ้มแก้ไหม — บางช่องโหว่พิสูจน์ได้ว่า exploit จริง แต่ทีมเจ้าของมองว่าไม่อยู่ในขอบเขตที่ต้องแคร์ การชั่งลำดับความสำคัญเป็นเรื่องคนกับธุรกิจ
- แพตช์ต้องไม่ทำของอื่นพัง — แก้จุดเดียวอาจทำ feature อื่นเจ๊ง ต้องเทส รีวิว แล้วค่อย deploy
- ตัวเลขนี้คือสแกนโค้ด open-source ของคนอื่น — เจอแล้วต้องแจ้งเจ้าของ repo แล้วรอ maintainer (ที่หลายโปรเจกต์เป็นอาสาสมัครคนเดียว) มารับแก้ คอขวดจริงคือเวลาและคนปลายทาง ไม่ใช่ AI
แก่นของมันคือบทเรียนกว้างๆ ของ AI ยุคนี้ — AI เร่งงาน “หา/สร้าง” ได้มหาศาล แต่งาน “ตัดสินใจและรับผิดชอบผล” ยังติดอยู่ที่คน
คนไม่ code ใช้ได้ไหม
ตรงไปตรงมา — ตัวนี้ไม่ใช่สำหรับคนทั่วไป มันสำหรับทีม security หรือ dev ที่มีโค้ดของตัวเอง ต้องลง Docker, ตั้ง sandbox (gVisor), และตัวอย่างที่ให้มาเล็งไปที่บั๊กภาษา C/C++ โดยเฉพาะ
แล้วทำไมคนไม่ code ยังควรรู้จัก? เพราะมันตอบคำถามที่เราตั้งไว้ตั้งแต่โพสต์ Glasswing — “เว็บหรือแอปที่ AI เขียนให้เรา ใครเป็นคนตรวจว่าปลอดภัย?” คำตอบที่กำลังก่อตัวคือ “ก็ AI อีกตัวนึง” และตอนนี้พิมพ์เขียวของมันเปิดให้ดูกันแล้ว
ส่งท้าย
ของชิ้นนี้น่าสนใจไม่ใช่เพราะเราจะได้เอาไปใช้ แต่เพราะมันเปิดให้เห็นว่า “AI ตรวจความปลอดภัยโค้ด” ทำงานยังไงจริงๆ — และเตือนเราว่า เจอเยอะ ไม่เท่ากับแก้ได้ 1,596 ต่อ 97 คือช่องว่างที่บอกว่า งานหนักที่แท้จริงเพิ่งจะเริ่ม