Cloudflare ประกาศความร่วมมือกับ Microsoft ในการพัฒนาเทคโนโลยีที่จะเปลี่ยนแปลงวิธีการเข้าถึงข้อมูลบนเว็บไซต์ ด้วยการนำเสนอ NLWeb และ AutoRAG ที่ทำให้เว็บไซต์สามารถรองรับการสนทนาด้วยภาษาธรรมชาติได้ทันที
ปัญหาของการเสิร์ชแบบดั้งเดิมที่กำลังล้าสมัย
การค้นหาข้อมูลบนเว็บไซต์แบบ traditional keyword search กำลังเจอกับข้อจำกัดที่ชัดเจน ผู้ใช้ต้องพิมพ์คำค้นหา แล้วรอผลลัพธ์เป็น 10 blue links ตามแบบฉบับการเสิร์ชดั้งเดิมครับ จากนั้นต้องคลิกเข้าไปอ่านทีละหน้า และปะติดปะต่อข้อมูลเพื่อหาคำตอบที่ต้องการเอง
การเสิร์ชแบบดั้งเดิม
ซึ่งพฤติกรรมนี้ไม่สอดคล้องกับความคาดหวังของผู้ใช้ในยุคที่ทุกคนคุ้นเคยกับ AI assistants อย่าง ChatGPT, Claude, Gemini หรือ Copilot ที่สามารถถามคำถามและได้รับคำตอบโดยตรงอีกต่อไป (และแน่นอนสิ่งนี้ส่งผลกระทบโดยตรงต่อการทำ SEO (Search Engine Optimization) แบบดั้งเดิม)
ปัจจุบันพฤติกรรมของ user เริ่มเปลี่ยนไปเสิร์ชใน AI chatbot แทน
Visitor ประเภทใหม่ ...AI Agents
นอกเหนือจากผู้ใช้ที่เป็นคนจริง ๆ แล้ว เว็บไซต์ในปัจจุบันยังต้องรองรับ "AI Agents" ที่เข้ามาเก็บข้อมูล
Agents เหล่านี้ประสบปัญหาเดียวกันกับการค้นหาแบบ keyword เพราะต้องไป scrape หน้าเว็บ ติดตามลิงก์ และรวบรวมข้อมูลจากหลายแหล่งเพื่อสร้างคำตอบ
สิ่งที่ AI Agents ต้องการคือวิธีการเข้าถึงข้อมูลที่มีโครงสร้าง (structured access) และเชื่อถือได้ ขณะที่เจ้าของเว็บไซต์ก็ต้องการควบคุมการเข้าถึงข้อมูลของตนเองให้ถูกต้องและปลอดภัยเฉกเช่นเดียวกัน
NLWeb มาตรฐานเปิด (Open Standard) สำหรับการสนทนากับเว็บไซต์
NLWeb เป็นโครงการ open source ที่พัฒนาโดย Microsoft โดยกำหนดมาตรฐาน protocol สำหรับการ query เว็บไซต์ด้วยภาษาธรรมชาติ (NLP: Natural Language Processing) แต่ละ NLWeb instance ยังทำหน้าที่เป็น Model Context Protocol (MCP) server ด้วย
ซอร์สโค้ดโปรเจคต์ NLWeb บน GitHub
โดย Cloudflare กำลังพัฒนาตามมาตรฐานนี้และทำงานร่วมกับ Microsoft เพื่อเพิ่มความสามารถ โดยมีเป้าหมายให้ทุกเว็บไซต์สามารถทำงานเหมือน AI application ที่ผู้ใช้และ agents สามารถสอบถามข้อมูลได้อย่างเป็นธรรมชาตินั่นเอง
AutoRAG ... Infrastructure ที่จัดการทุกอย่างให้
AutoRAG คือระบบ managed retrieval engine ของ Cloudflare ที่สามารถ
- Crawl เว็บไซต์อัตโนมัติ - โดยทำการดึงข้อมูลจากเว็บไซต์ตาม sitemap.xml และ robots.txt (รองรับสูงสุด 100,000 หน้า)
- จัดเก็บใน R2 - เก็บข้อมูลที่ crawl มาใน Cloudflare R2 storage
- สร้าง Vector Database - แปลงข้อมูลเป็น embeddings ใน Vectorize เพื่อให้ค้นหาแบบ semantic search ได้
- อัปเดตอัตโนมัติ - re-crawl และ re-index เพื่อให้ข้อมูลทันสมัยอยู่เสมอ
- Deploy Worker ทันที - สร้าง Cloudflare Worker ที่พร้อมใช้งานทันที
การใช้งาน AutoRAG ใน Cloudflare
โดย AotuRag ประกอบไปด้วย URL Endpoints ที่สำคัญ 2 ตัว คือ
/askendpoint - รองรับ conversational UI สำหรับผู้ใช้ทั่วไป มี chat history เพื่อให้สามารถถามต่อเนื่องกันได้ และมีระบบ query de-contextualization เพื่อปรับปรุงคุณภาพการค้นหา/mcpendpoint - เป็น MCP server สำหรับ AI agents ที่ได้รับอนุญาต ให้สามารถเข้าถึงข้อมูลแบบมีโครงสร้าง (Structured Data)
สามารถดู required arguments ได้ใน NLweb GitHub repository
การใช้งาน
การติดตั้งใช้งานก็ทำได้ง่าย ๆ เพียง 4 ขั้นตอน
- เข้าไปที่ Cloudflare Dashboard
- ไปที่ Compute & AI > AutoRAG
- เลือก Create แล้วเลือก NLWeb Website quick deploy
- เลือก domain ที่ต้องการ index แล้วคลิก Start indexing
ในส่วนของ AI Model เหมือนตอนนี้จะมีแค่ตัว Llama ของ Meta ให้เลือกครับ
ก็ next และเลือก default ไปเรื่อย ๆ โลดดดด ระบบจะทำการ crawl และ index เว็บไซต์ให้อัตโนมัติ พร้อมสร้าง Worker ที่มี conversational interface ให้ทันที
เรียบร้อย รอ batch processing ให้เสร็จ
ผลกระทบต่อทั้ง Publishers และ Content Creators
แน่นอนครับ การเปลี่ยนแปลงนี้นำมาทั้งโอกาสและความท้าทายใหม่ต่อเหล่า publishers และ content creators เจ้าของเว็บไซต์ทั้งหลาย
โอกาส
- Direct Engagement - ผู้ใช้สามารถโต้ตอบกับเนื้อหาบนเว็บไซต์โดยตรง ไม่ต้องผ่าน search engines หรือ AI platforms อื่น
- Controlled Access - เจ้าของเว็บสามารถกำหนดได้ว่า AI agents ไหนมีสิทธิ์เข้าถึงข้อมูล แทนที่จะถูก scrape แบบไม่มีการควบคุม
- New Monetization Models - เปิดโอกาสให้สร้างรูปแบบธุรกิจใหม่ เช่น premium access สำหรับ AI agents หรือ conversational commerce
ความท้าทาย
- การวัดผล - เมื่อผู้ใช้ได้คำตอบจากการสนทนาโดยไม่ต้องคลิกหลายหน้า metrics แบบเดิมอย่าง page views อาจไม่สะท้อนความจริง
- Content Strategy - ต้องคิดใหม่ว่าจะสร้างเนื้อหาอย่างไรให้เหมาะกับการ consume แบบ conversational
- Revenue Models - รูปแบบรายได้จากโฆษณาแบบเดิมอาจต้องปรับเปลี่ยน
สถาปัตยกรรมเบื้องหลัง AutoRAG
AutoRAG ใช้ Durable Objects สองตัวหลักในการจัดการ
- JobManager - รับผิดชอบการ sync ทั้งหมด รวมถึงการ queue files, embed content และอัปเดต Vectorize database
- FileManager - จัดการการประมวลผลไฟล์แต่ละไฟล์ ช่วยแก้ปัญหา memory limit โดยสามารถประมวลผล 20 ไฟล์พร้อมกันผ่าน 20 FileManagers
การ crawl เว็บไซต์ทำงานโดย
- JobManager อ่าน sitemap ของเว็บไซต์
- Queue แต่ละ URL เข้าสู่ระบบ R2-based queue
- FileManager crawl แต่ละหน้าและเก็บ HTML ใน R2 bucket
- ทำการ index และพร้อมให้บริการที่ query time
วิเคราะห์
เทคโนโลยีนี้น่าจะเป็นจุดเปลี่ยนสำคัญของวิธีการเข้าถึงข้อมูลบนเว็บ แต่ยังมีประเด็นที่ต้องพิจารณาอยู่ครับ
- ด้านบวก - ลดปัญหา Zero-Click Search โดยให้ผู้ใช้ได้รับคำตอบบนเว็บไซต์ของเราเอง ไม่ใช่ผ่าน AI platforms อื่น UX ดีขึ้นมากเพราะผู้ใช้ได้คำตอบทันทีโดยไม่ต้องคลิกหลายครั้ง
- ข้อควรระวัง - เนื้อหาบางประเภทอาจไม่เหมาะกับการสรุปแบบสั้น ต้องการให้ผู้อ่านได้รับประสบการณ์แบบเต็ม การ monetize อาจต้องหารูปแบบใหม่เมื่อ page views ลดลง
สำหรับเจ้าของเว็บไซต์ นี่คือโอกาสในการปรับตัวเข้าสู่ยุคของ Conversational Web แต่ต้องคิดใหม่ทั้งเรื่อง content strategy และ business model เว็บไซต์ที่จะประสบความสำเร็จคือเว็บที่ไม่เพียงแค่มีข้อมูล แต่มี insight และ expertise ที่สร้างคุณค่าเพิ่มให้กับผู้ใช้
แหล่งอ้างอิง
