เผยแพร่โดย Enterprise AI Thailand

HPE Oracle: แยกเหตุเครือข่าย AI

ประเด็นสำคัญ

ข่าวเครือข่ายขนาดใหญ่ให้บริบทการออกแบบ องค์กรควรแยกเหตุในแต่ละชั้นและเก็บหลักฐานที่ตามเส้นทางคำขอได้จริง

อ่านประมาณ 3 นาที

ตู้แร็กเซิร์ฟเวอร์ในโครงสร้างพื้นฐานขององค์กร
ภาพประกอบโครงสร้างพื้นฐานขององค์กร ไม่ใช่ภาพแพลตฟอร์มที่ประกาศในข่าวหรือการติดตั้งที่ผ่านการวัดผลภาพ: Mimir / enterpriseaithailand.comแหล่งที่มาของภาพ

ข่าวเครือข่ายต้องอ่านแยกจากขนาดโครงการ

HPE และ Oracle กล่าวถึงความร่วมมือเครือข่ายที่ครอบคลุม backend ภูมิภาค และ edge รวมถึง telemetry ประกาศทางการ เป็นบริบทของผู้ประกาศ ไม่ใช่ข้อกำหนดขนาดระบบขององค์กรไทย

ในโครงการ AI คำว่าเครือข่ายช้ามักรวมปัญหาหลายอย่างไว้ด้วยกัน ผู้ใช้รอเอกสาร ระบบค้นหารอข้อมูล หรือบริการโมเดลรอส่งต่อคำขออาจดูเหมือนกันจากหน้าจอ หากไม่มีหลักฐานแยกแต่ละขั้น ทีมมักเพิ่มทรัพยากรตรงส่วนที่มองเห็น แทนส่วนที่เป็นคอขวดจริง

วาดเส้นทางข้อมูลพร้อมจุดตรวจเหตุ

ข้อวิเคราะห์ของเราคือให้ทีมสถาปัตยกรรมวาดเส้นทางหนึ่งคำขอตั้งแต่ผู้ใช้ถึงคำตอบ แล้วใส่เจ้าของเครือข่ายและจุดเก็บสถานะไว้บนเส้นนั้น การมีกราฟปริมาณข้อมูลรวมไม่เพียงพอหากยังผูกเหตุเข้ากับคำขอที่มีปัญหาไม่ได้

ชั้นที่ผ่านเหตุที่ควรแยกหลักฐานที่ควรเชื่อม
ผู้ใช้ถึงบริการการเชื่อมต่อและสิทธิ์เริ่มงานเวลาเริ่มกับสถานะคำขอ
บริการถึงข้อมูลอ่านแฟ้มและค้นข้อมูลไม่ครบแหล่งที่เรียกและเวลาตอบ
บริการถึงโมเดลคิวและการส่งต่อคำขอรุ่นบริการกับเวลาแต่ละช่วง
ทางคืนผลการส่งคำตอบหรือไฟล์ไม่สำเร็จสถานะที่ผู้ใช้ได้รับจริง

ตารางนี้เป็นแผนการสังเกตที่เราเสนอ ไม่ใช่ผลทดสอบอุปกรณ์ HPE หรือ Oracle ต้องกำหนดด้วยว่าบันทึกมีข้อมูลใดและใครอ่านได้ เพื่อไม่ให้การวินิจฉัยเพิ่มการเข้าถึงเอกสารโดยไม่จำเป็น

จำลองเหตุแบบที่แยกเจ้าของได้

เลือกงานที่ได้รับอนุญาตแล้วลองเมื่อแหล่งข้อมูลช้า เมื่อบริการโมเดลไม่ตอบ และเมื่อผู้ใช้ขาดการเชื่อมต่อ ทีมควรอธิบายได้ว่างานหยุดที่ชั้นใด ใครรับเหตุ และผู้ใช้ควรทำอะไรต่อโดยไม่ต้องเดาจากข้อความผิดพลาดทั่วไป

ตรวจกรณีที่คำขอเดิมถูกส่งใหม่หลังการเชื่อมต่อกลับมาด้วย งานอ่านอย่างเดียวกับงานเปลี่ยนข้อมูลต้องมีแนวทางต่างกัน เพราะการส่งซ้ำอาจสร้างผลปลายทางซ้ำได้ ให้เจ้าของ workflow กำหนดวิธีตรวจรายการที่เกิดไปแล้ว

ใช้ telemetry เพื่อจัดลำดับการลงทุน

วิดีโอ HPE ที่ประกอบเป็นบริบทเครือข่ายก่อนประกาศ ไม่ใช่ผลวัดของโครงการคุณ ก่อนเพิ่มสวิตช์หรือวงจรเครือข่าย ให้ขอหลักฐานว่าปัญหาอยู่ที่การส่งข้อมูลจริง แทนการรอคิวหรือข้อมูลที่ยังจัดเตรียมไม่พร้อม

เริ่มทบทวน สถาปัตยกรรม AI องค์กร ด้วยแผนเส้นทางข้อมูลและเหตุที่เคยเกิด ระบุเจ้าของจุดตรวจแต่ละชั้น แล้วใช้ผลทดลองตัดสินว่าควรปรับเครือข่าย บริการ หรือขั้นตอนข้อมูลก่อน

คำถามที่พบบ่อย

ต้องสร้างเครือข่ายขนาดเดียวกับข่าวหรือไม่
ไม่จำเป็น ขนาดในข่าวเป็นบริบทของผู้ประกาศ ควรออกแบบจากเส้นทางข้อมูลและข้อจำกัดขององค์กรเอง
ควรเก็บข้อมูลอะไรเพื่อหาต้นเหตุ AI ช้า
ควรเก็บเวลาและสถานะในขั้นอ่านเอกสาร ค้นข้อมูล ส่งต่อโมเดล และคืนคำตอบ พร้อมตัวระบุคำขอที่เชื่อมบันทึกแต่ละชั้นได้

วิดีโอที่เกี่ยวข้อง

  • Transforming data center networking for speed, scale, simplicity

    HPE · เผยแพร่

    วิดีโอประกอบความเข้าใจ

    ดูวิดีโอต้นทางบน YouTube

แหล่งข้อมูล

  1. HPE and Oracle deepen networking collaboration to accelerate gigawatt-scale AI infrastructure

    HPE

    เผยแพร่ต้นทาง
    เข้าถึงข้อมูล
  2. Transforming data center networking for speed, scale, simplicity

    HPE

    เผยแพร่ต้นทาง
    เข้าถึงข้อมูล