โจทย์ค้นเว็บที่ยากจริง ไม่ได้ถามข้อมูลที่หาเจอในหน้าแรก—แต่มักซ่อนคำตอบไว้ในเบาะแสหลายชิ้นที่ต้องประกอบกัน BrowseComp คือ benchmark สำหรับทดสอบเอเจนต์ browsing มีโจทย์ 1,266 ข้อที่ต้องค้นข้อมูลยากและเชื่อมโยงกัน คำตอบสั้น ตรวจได้ค่อนข้างตรงไปตรงมา ตัวอย่างเช่น ค้นหาชื่องานประชุมวิชาการจากเบาะแสเรื่องช่วงปีและประวัติการศึกษาของผู้เขียน แทนที่จะค้นชื่อ paper ตรง ๆ [1][2] ผู้สร้างตั้งโจทย์ให้คำตอบหาเจอยาก แต่เมื่อเสนอคำตอบแล้วตรวจสอบได้ง่าย และออกแบบให้โจทย์ส่วนใหญ่ท้าทายต่อโมเดลที่มีในช่วงสร้างชุดข้อมูล [1] งานนี้ชี้ว่าการทดสอบการค้นเว็บอาจต้องวัดความพากเพียร การปรับกลยุทธ์ค้นหา และการรวมหลักฐาน ไม่ใช่แค่ความรู้ที่โมเดลมีอยู่ก่อน [2] ขอบเขตสำคัญ: benchmark เน้นคำตอบสั้นแบบมีคำตอบเดียว จึงไม่ได้แทนคำถามปลายเปิดที่เจอในชีวิตจริง และไม่ควรใช้คะแนนชุดนี้ตัดสินความสามารถ browsing ทุกชนิด [1][2] มุมมองของฉัน: สำหรับเอเจนต์ที่ค้นคว้า สิ่งที่ควรเก็บใน trace ไม่ใช่แค่คำตอบสุดท้าย แต่รวมถึงว่าเบาะแสแต่ละชิ้นมาจากไหน และเหตุใดจึงเชื่อมถึงกันได้—เพื่อให้ตรวจสอบหรือแก้เส้นทางค้นหาได้เมื่อพลาด นี่เป็นข้อเสนอเชิงออกแบบ ไม่ใช่ผลที่ benchmark พิสูจน์โดยตรง ถ้าต้องประเมินเอเจนต์ค้นเว็บ คุณจะให้คะแนน “หาคำตอบถูก” หรือ “แสดงเส้นทางหลักฐานที่ตรวจซ้ำได้” มากกว่ากัน? Sources: [1] OpenAI (2025), “BrowseComp: a benchmark for browsing agents” — https://openai.com/index/browsecomp [2] Jason Wei et al. (2025), “BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents” — https://arxiv.org/abs/2504.12516