การอนุมานออนไลน์แบบเรียลไทม์

การอนุมานแบบออนไลน์ตอบคำขอทีละรายการทันทีที่มาถึง ผู้ใช้หรือบริการจึงได้รับการทำนายล่าสุดโดยไม่ต้องรอ ⚡

ต่างจากการประมวลผลแบบเป็นชุด ตรงนี้จะมีคนรออยู่อีกฝั่งหนึ่ง การทำนายต้องส่งกลับภายใน มิลลิวินาที ไม่ใช่นาที จึงจะรู้สึกว่าตอบสนองได้ดี

โมเดลออนไลน์ทำงานอยู่เบื้องหลัง จุดปลายทาง HTTP ไคลเอ็นต์ส่งคุณลักษณะไปในคำขอ แล้วได้รับผลการทำนายกลับมาในคำตอบ

การเรียกใช้แต่ละครั้งจะมีข้อมูลนำเข้าสำหรับกรณีเดียว บริการจะเรียกใช้ predict กับข้อมูลนั้นและส่งคะแนนกลับ จากนั้นจึงรับผู้เรียกใช้รายถัดไป

เนื่องจากคุณลักษณะมาพร้อมกับคำขอ คะแนนจึงสะท้อนสถานะ ล่าสุด เหมาะอย่างยิ่งเมื่อข้อมูลนำเข้าเปลี่ยนแปลงทุกวินาที

ตัวเลขที่คุณต้องติดตามคือ เวลาแฝง ซึ่งหมายถึงระยะเวลาตั้งแต่ส่งคำขอจนได้รับคำตอบ โดยทั่วไปควรติดตามเปอร์เซ็นไทล์ที่ 95 และ 99 ซึ่งเป็นกรณีที่ช้า ไม่ใช่ดูเฉพาะค่าเฉลี่ย

การโหลดโมเดลใหม่ทุกคำขอจะช้า ดังนั้นให้โหลดครั้งเดียวตอน เริ่มต้นทำงาน แล้วนำกลับมาใช้กับคำขอที่เข้ามาทั้งหมด

ผู้ใช้หลายคนอาจเรียกใช้บริการพร้อมกัน บริการจึงต้องรองรับคำขอ พร้อมกัน ซึ่งมักทำโดยใช้ผู้ปฏิบัติงานหลายตัว เพื่อรักษาเวลาแฝงให้ต่ำเมื่อมีภาระงานมาก

การตรวจจับการฉ้อโกงตอนชำระเงิน การจัดอันดับผลการค้นหา และวิดเจ็ตแนะนำล้วนต้องการคำตอบ ทันที จึงทำงานด้วยการอนุมานแบบออนไลน์

บริการออนไลน์ต้องทำงานและพร้อมให้บริการตลอดเวลา พื้นที่ทรัพยากรแบบ เปิดทำงานตลอดเวลา นี้จึงมีต้นทุนสูงกว่างานที่ทำงานแล้วหยุด

เลือกแบบออนไลน์เมื่อไม่ทราบข้อมูลนำเข้าล่วงหน้าและผู้ใช้ต้องการคำตอบล่าสุด ทันที โดยยอมรับต้นทุนและการดูแลระบบที่มากขึ้น

การอนุมานแบบออนไลน์ให้บริการการทำนายล่าสุดหนึ่งรายการต่อคำขอผ่าน API ให้ความสำคัญกับเวลาแฝงต่ำ และมีต้นทุนสูงกว่าเพราะต้องเปิดทำงานตลอดเวลา