เผยแพร่โดย Enterprise AI Thailand
HPE Oracle: แยกเหตุเครือข่าย AI
ประเด็นสำคัญ
ข่าวเครือข่ายขนาดใหญ่ให้บริบทการออกแบบ องค์กรควรแยกเหตุในแต่ละชั้นและเก็บหลักฐานที่ตามเส้นทางคำขอได้จริง
อ่านประมาณ 3 นาที

ข่าวเครือข่ายต้องอ่านแยกจากขนาดโครงการ
HPE และ Oracle กล่าวถึงความร่วมมือเครือข่ายที่ครอบคลุม backend ภูมิภาค และ edge รวมถึง telemetry ประกาศทางการ เป็นบริบทของผู้ประกาศ ไม่ใช่ข้อกำหนดขนาดระบบขององค์กรไทย
ในโครงการ AI คำว่าเครือข่ายช้ามักรวมปัญหาหลายอย่างไว้ด้วยกัน ผู้ใช้รอเอกสาร ระบบค้นหารอข้อมูล หรือบริการโมเดลรอส่งต่อคำขออาจดูเหมือนกันจากหน้าจอ หากไม่มีหลักฐานแยกแต่ละขั้น ทีมมักเพิ่มทรัพยากรตรงส่วนที่มองเห็น แทนส่วนที่เป็นคอขวดจริง
วาดเส้นทางข้อมูลพร้อมจุดตรวจเหตุ
ข้อวิเคราะห์ของเราคือให้ทีมสถาปัตยกรรมวาดเส้นทางหนึ่งคำขอตั้งแต่ผู้ใช้ถึงคำตอบ แล้วใส่เจ้าของเครือข่ายและจุดเก็บสถานะไว้บนเส้นนั้น การมีกราฟปริมาณข้อมูลรวมไม่เพียงพอหากยังผูกเหตุเข้ากับคำขอที่มีปัญหาไม่ได้
| ชั้นที่ผ่าน | เหตุที่ควรแยก | หลักฐานที่ควรเชื่อม |
|---|---|---|
| ผู้ใช้ถึงบริการ | การเชื่อมต่อและสิทธิ์เริ่มงาน | เวลาเริ่มกับสถานะคำขอ |
| บริการถึงข้อมูล | อ่านแฟ้มและค้นข้อมูลไม่ครบ | แหล่งที่เรียกและเวลาตอบ |
| บริการถึงโมเดล | คิวและการส่งต่อคำขอ | รุ่นบริการกับเวลาแต่ละช่วง |
| ทางคืนผล | การส่งคำตอบหรือไฟล์ไม่สำเร็จ | สถานะที่ผู้ใช้ได้รับจริง |
ตารางนี้เป็นแผนการสังเกตที่เราเสนอ ไม่ใช่ผลทดสอบอุปกรณ์ HPE หรือ Oracle ต้องกำหนดด้วยว่าบันทึกมีข้อมูลใดและใครอ่านได้ เพื่อไม่ให้การวินิจฉัยเพิ่มการเข้าถึงเอกสารโดยไม่จำเป็น
จำลองเหตุแบบที่แยกเจ้าของได้
เลือกงานที่ได้รับอนุญาตแล้วลองเมื่อแหล่งข้อมูลช้า เมื่อบริการโมเดลไม่ตอบ และเมื่อผู้ใช้ขาดการเชื่อมต่อ ทีมควรอธิบายได้ว่างานหยุดที่ชั้นใด ใครรับเหตุ และผู้ใช้ควรทำอะไรต่อโดยไม่ต้องเดาจากข้อความผิดพลาดทั่วไป
ตรวจกรณีที่คำขอเดิมถูกส่งใหม่หลังการเชื่อมต่อกลับมาด้วย งานอ่านอย่างเดียวกับงานเปลี่ยนข้อมูลต้องมีแนวทางต่างกัน เพราะการส่งซ้ำอาจสร้างผลปลายทางซ้ำได้ ให้เจ้าของ workflow กำหนดวิธีตรวจรายการที่เกิดไปแล้ว
ใช้ telemetry เพื่อจัดลำดับการลงทุน
วิดีโอ HPE ที่ประกอบเป็นบริบทเครือข่ายก่อนประกาศ ไม่ใช่ผลวัดของโครงการคุณ ก่อนเพิ่มสวิตช์หรือวงจรเครือข่าย ให้ขอหลักฐานว่าปัญหาอยู่ที่การส่งข้อมูลจริง แทนการรอคิวหรือข้อมูลที่ยังจัดเตรียมไม่พร้อม
เริ่มทบทวน สถาปัตยกรรม AI องค์กร ด้วยแผนเส้นทางข้อมูลและเหตุที่เคยเกิด ระบุเจ้าของจุดตรวจแต่ละชั้น แล้วใช้ผลทดลองตัดสินว่าควรปรับเครือข่าย บริการ หรือขั้นตอนข้อมูลก่อน
คำถามที่พบบ่อย
- ต้องสร้างเครือข่ายขนาดเดียวกับข่าวหรือไม่
- ไม่จำเป็น ขนาดในข่าวเป็นบริบทของผู้ประกาศ ควรออกแบบจากเส้นทางข้อมูลและข้อจำกัดขององค์กรเอง
- ควรเก็บข้อมูลอะไรเพื่อหาต้นเหตุ AI ช้า
- ควรเก็บเวลาและสถานะในขั้นอ่านเอกสาร ค้นข้อมูล ส่งต่อโมเดล และคืนคำตอบ พร้อมตัวระบุคำขอที่เชื่อมบันทึกแต่ละชั้นได้
วิดีโอที่เกี่ยวข้อง
Transforming data center networking for speed, scale, simplicity
HPE · เผยแพร่
วิดีโอประกอบความเข้าใจ
ดูวิดีโอต้นทางบน YouTube
แหล่งข้อมูล
- HPE and Oracle deepen networking collaboration to accelerate gigawatt-scale AI infrastructure
HPE
- เผยแพร่ต้นทาง
- เข้าถึงข้อมูล
- Transforming data center networking for speed, scale, simplicity
HPE
- เผยแพร่ต้นทาง
- เข้าถึงข้อมูล