🚀 อัปเกรด RAG ให้เทพ! จาก Naive สู่ Advanced

ในประสบการณ์ที่ได้ลองใช้เทคนิคขั้นสูงของ RAG Engineering พบว่าเรื่องของความแตกต่างระหว่าง "Similarity" และ "Relevance" เป็นหัวใจสำคัญมากที่หลายคนอาจมองข้าม การค้นหาข้อมูลในระบบ RAG แบบ Naive นั้นจะใช้หลัก similarity search ในการคัดเลือกข้อมูล แต่ในความเป็นจริง การมีข้อมูลที่ "ค่อยข้างเหมือน" กับคำถามกลับไม่ได้แปลว่าจะ "เกี่ยวข้อง" หรือช่วยให้คำตอบมีความถูกต้องและลึกซึ้งเสมอไป การเพิ่ม Pre-Retrieval อย่าง HyDE (Hypothetical Document Embeddings) นั้นคือการให้ AI สร้างคำตอบสั้นๆ แบบสมมุติขึ้นมาก่อน แล้วใช้คำตอบนั้นค้นหาใน Vector Database แทนคำถามเดิม ซึ่งวิธีนี้จะเพิ่มโอกาสเจอข้อมูลที่ตรงประเด็นและเกี่ยวข้องจริงๆ มากขึ้น เพราะ Vector ของคำตอบสมมุติจะใกล้เคียงกับข้อมูลในฐานข้อมูลมากกว่าคำถามที่อาจจะกว้างหรือไม่เจาะจง อีกเทคนิคที่ได้ปรับใช้คือ Query Expansion ที่ทำให้ AI ปรับแต่งคำถามออกไปในหลายแง่มุม เพิ่มโอกาสการเจอข้อมูลที่หลากหลายและแม่นยำยิ่งขึ้น ช่วยป้องกันการพลาดข้อมูลสำคัญที่อาจนอกเหนือจากคำถามตรงตัว เมื่อได้ข้อมูลมาแล้ว การใช้ Post-Retrieval อย่าง Reranking ด้วย Cross-Encoder ช่วยจัดลำดับความสำคัญของข้อมูลใหม่ เพื่อเลือกเฉพาะ 3 อันดับแรกที่แม่นที่สุดจริงๆ ทำให้ได้คำตอบที่สั้น กระชับ และลดเสียงรบกวนหรือข้อมูลที่ไม่เกี่ยวข้องลง อีกทั้ง Context Compression เป็นเทคนิคที่เลือกเอาข้อความที่เกี่ยวข้องจริงๆ ในแต่ละ Chunk มาช่วยลดจำนวน Token ที่ต้องใช้และทำให้โมเดลตอบได้รวดเร็วขึ้น จากประสบการณ์ การนำเทคนิคเหล่านี้มาผสมผสานกัน สามารถพัฒนาระบบ RAG ให้ฉลาดและตอบคำถามได้แม่นยำกว่าเดิมอย่างเห็นได้ชัด ใครที่ทำระบบถามตอบหรือแชทบอตที่ต้องอาศัยฐานข้อมูลขนาดใหญ่ แนะนำให้เริ่มทดลองปรับใช้เทคนิค Pre-Retrieval และ Post-Retrieval เหล่านี้เพื่อให้ AI ของคุณโดดเด่นไม่แพ้ใครในตลาด AI สมัยนี้เลยค่ะ