AI ক্লাস্টার নেটওয়ার্ক ডিজাইন: মেরুদণ্ড-পাতা, RoCE এবং NICs

AI ক্লাস্টার নেটওয়ার্ক ডিজাইন হল GPU সার্ভার NICs, লিফ-স্পাইন ব্যান্ডউইথ, ওভারসাবস্ক্রিপশন রেশিও, RoCE সেটিংস, অপটিক্স এবং ক্যাবলিংয়ের মাপ করার প্রক্রিয়া যাতে ক্লাস্টার স্কেল হিসাবে বিতরণ করা প্রশিক্ষণ ট্র্যাফিক অনুমানযোগ্য থাকে। এর মধ্যে যেকোনও ভুল ধরুন এবং নেটওয়ার্ক - GPU নয় - বাধা হয়ে দাঁড়ায়।

কেন এআই ক্লাস্টার নেটওয়ার্কিং আলাদা

একটি ঐতিহ্যগত এন্টারপ্রাইজ ডেটা সেন্টারে, নেটওয়ার্ক উত্তর-দক্ষিণ ব্যবহারকারী ট্রাফিক, স্টোরেজ অ্যাক্সেস, ভার্চুয়ালাইজেশন এবং ব্যবস্থাপনার মিশ্রণ পরিচালনা করে। পূর্ব-পশ্চিম ট্রাফিক বিদ্যমান কিন্তু খুব কমই প্রভাবশালী লোড। একটি এআই ক্লাস্টারে, পরিস্থিতি উল্টে যায়। GPU সার্ভারগুলি ডিস্ট্রিবিউটেড ট্রেনিং এক্সচেঞ্জ গ্রেডিয়েন্ট চালায় এবং কাজের প্রতিটি ধাপে পরামিতিগুলিকে সিঙ্ক্রোনাইজ করে। এই যোগাযোগটি গণনার অংশ, এটির একটি পার্শ্ব প্রতিক্রিয়া নয়।

যদি একটি $30,000 GPU সমস্ত-অপারেশন কমানোর সময় নেটওয়ার্কে অপেক্ষা করার সময় তার 30% সময় ব্যয় করে, ক্লাস্টারটি কার্যকরভাবে নিষ্ক্রিয় বসার জন্য তার গণনা ক্ষমতার 30% অর্থ প্রদান করে। অর্থনৈতিক কারণেই এআই নেটওয়ার্কিং এত মনোযোগ পায়।

তিনটি কাজের চাপের বৈশিষ্ট্য নকশাটি চালিত করে:

• ভরা পূর্ব-পশ্চিম ট্রাফিক।সমষ্টিগত যোগাযোগ ক্রিয়াকলাপ যেমন সমস্ত-কমায়, সমস্ত-একত্রিত করে এবং হ্রাস করে-স্ক্যাটার একই সাথে অনেকগুলি নোড জুড়ে সিঙ্ক্রোনাইজড বার্স্ট তৈরি করে।
• লেজ-লেটেন্সি সংবেদনশীলতা।একটি একক ধীর নোড পুরো প্রশিক্ষণ ধাপে বিলম্ব করে। অনুমানযোগ্য লেটেন্সি গড় বিলম্বের চেয়ে বেশি গুরুত্বপূর্ণ।
• বৃদ্ধি-কে স্কেল করুন।32 জিপিইউ থেকে শুরু হওয়া ক্লাস্টারগুলি প্রায়শই 18 মাসের মধ্যে 256 বা 1,024 পর্যন্ত বৃদ্ধি পায়। ফ্যাব্রিক পুনরায় নকশা ছাড়া স্কেল করা আবশ্যক.

কেন মেরুদণ্ড-পাতা এআই ক্লাস্টারে ফিট করে

মেরুদণ্ড-পাতা হল হাইপারস্কেল ডেটা সেন্টারের জন্য আদর্শ ফ্যাব্রিক কারণ এটি প্রতিটি সার্ভারকে-সার্ভারের পথকে একই হপ কাউন্ট এবং একই তাত্ত্বিক ব্যান্ডউইথ দেয়। AI ওয়ার্কলোডের জন্য, এই অভিন্নতা সরাসরি আরও অনুমানযোগ্য প্রশিক্ষণের ধাপে অনুবাদ করে।

একটি মেরুদণ্ড-লিফ টপোলজিতে, GPU সার্ভারগুলি পাতার সুইচগুলির সাথে সংযোগ করে, এবং প্রতিটি পাতা প্রতিটি মেরুদণ্ডের সাথে সংযোগ করে। যেকোনো GPU- থেকে-GPU যোগাযোগ ঠিক একটি পাতা, একটি মেরুদণ্ড এবং আরও একটি পাতা অতিক্রম করে। পরিবর্তনশীল লেটেন্সি বা চোকপয়েন্ট প্রবর্তনকারী কোনো সমষ্টি স্তর নেই।

অনুমানযোগ্য লেটেন্সি

সমান-কস্ট মাল্টি-পাথ (ECMP) রাউটিং স্প্রেড স্পাইন সুইচ জুড়ে প্রবাহিত হয়। অভিযোজিত রাউটিং বা গতিশীল লোড ব্যালেন্সিংয়ের সাথে সঠিকভাবে কনফিগার করা হলে, এটি হ্যাশ সংঘর্ষকে বাধা দেয় যা কিছু প্রবাহকে অন্যের তুলনায় অনেক ধীর করে দেয় - স্ট্যাটিক ইসিএমপি কাপড়ের মধ্যে একটি পরিচিত সমস্যা যা অল্প কিন্তু বড় প্রবাহ বহন করে, যা ঠিক এআই প্রশিক্ষণ তৈরি করে।

উচ্চ দ্বিখণ্ডন ব্যান্ডউইথ

বাইসেকশন ব্যান্ডউইথ হল ক্লাস্টারের যেকোনো দুটি সমান অংশের মধ্যে উপলব্ধ থ্রুপুট। নন-ব্লকিং বা কাছাকাছি-নন-ব্লকিং ডিজাইন থেকে AI প্রশিক্ষণের সুবিধা যেখানে পাতার-থেকে-মেরুদণ্ডের আপলিঙ্ক ক্ষমতা সার্ভারের মুখোমুখি ডাউনলিংক ক্ষমতার সমান বা প্রায় সমান। IETF এই ধারণাগুলিকে সংজ্ঞায়িত করে এবং আলোচনা করেআরএফসি 7938, যা BGP-রুটেড Clos ফ্যাব্রিকগুলিকে কভার করে যা বৃহৎ-ডেটা সেন্টারে ব্যাপকভাবে ব্যবহৃত হয়।

সহজ স্কেল-আউট

আরো সার্ভার যোগ করতে আরো পাতা যোগ করুন. আরও দ্বিখণ্ডিত ব্যান্ডউইথ যোগ করতে আরও কাঁটা যুক্ত করুন। কয়েক হাজার GPU-এর বাইরে ক্লাস্টারগুলির জন্য, একটি সুপার-স্পাইন (5-স্টেজ ক্লস) বা রেল-অপ্টিমাইজড টপোলজি একই নীতিকে আরও এক স্তর প্রসারিত করে।

একটি এআই ক্লাস্টার নেটওয়ার্কের মূল উপাদান

GPU সার্ভার এবং NIC

NIC হল যেখানে ফ্যাব্রিক হোস্টের সাথে মিলিত হয়। AI ক্লাস্টারে, NIC নির্বাচন ডাউনস্ট্রিম - সুইচ পোর্টের গতি, অপটিক্স পছন্দ, এবং তারের ঘনত্ব সবকিছুই চালিত করে।

এআই কাজের চাপের জন্য নির্বাচনের মানদণ্ড:

• পোর্ট গতি:প্রতি পোর্টে 200G, 400G বা 800G। GPU জেনারেশন এবং PCIe ব্যান্ডউইথের সাথে মিল।
• PCIe প্রজন্ম:হোস্ট-সাইড থ্রটলিং এড়াতে একটি 400G NIC-এর প্রয়োজন PCIe Gen5 x16৷ PCIe Gen4 x16 ক্যাপ ~256 Gbps ব্যবহারযোগ্য।
• RDMA এবং RoCEv2 সমর্থন:কার্নেল-বাইপাস GPU কমিউনিকেশন লাইব্রেরি যেমন NCCL এর জন্য প্রয়োজনীয়।
• GPUDirect RDMA:হোস্ট মেমরি কপিগুলি সরিয়ে, সরাসরি GPU-কে-NIC DMA-তে অনুমতি দেয়৷
• মাল্টি-রেল ক্ষমতা:অনেক AI সার্ভার নোড প্রতি 4 বা 8 NIC ব্যবহার করে, প্রতি GPU জোড়ায় একটি, রেল-অপ্টিমাইজ করা টপোলজির জন্য।

একটি সাধারণ 8-GPU সার্ভার বর্তমানে কাজের চাপ এবং বাজেটের উপর নির্ভর করে হয় 4×400G NICs (একটি প্রতি দুই GPU) অথবা 8×400G NICs (একটি GPU) ব্যবহার করে। থেকে রেফারেন্স আর্কিটেকচারNVIDIA নেটওয়ার্কিং ডকুমেন্টেশনডিজাইন ট্রেডঅফগুলি বিস্তারিতভাবে কভার করুন।

পাতা এবং মেরুদণ্ড সুইচ

এআই কাপড়ের জন্য স্যুইচ নির্বাচনের মানদণ্ড এন্টারপ্রাইজ নির্বাচন থেকে আলাদা। বাফার আকার, যানজট নিয়ন্ত্রণ আচরণ এবং টেলিমেট্রি বৈশিষ্ট্য প্রস্থের চেয়ে বেশি গুরুত্বপূর্ণ।

• প্রতি-পোর্ট গতি এবং রেডিক্স:একটি 51.2 Tbps সুইচ ASIC 64×800G পোর্ট বা 128×400G পোর্ট সরবরাহ করে। রেডিক্স নির্ধারণ করে যে ফ্যাব্রিক কতটা সমতল হতে পারে।
• বাফার আর্কিটেকচার:গভীর বাফার ইনকাস্ট বিস্ফোরণ শোষণ করে কিন্তু লেটেন্সি যোগ করে। অগভীর বাফারগুলি বিলম্ব কমায় তবে সুনির্দিষ্ট কনজেশন নিয়ন্ত্রণ প্রয়োজন।
• RoCE বৈশিষ্ট্য সেট:ECN মার্কিং, PFC, DCQCN বা সমতুল্য যানজট নিয়ন্ত্রণ, এবং অগ্রাধিকার সারিগুলির সঠিক পরিচালনা শেষ-এ-শেষ হয়৷
• টেলিমেট্রি:ইনব্যান্ড নেটওয়ার্ক টেলিমেট্রি (আইএনটি), প্রতি-সারির গভীরতার প্রতিবেদন, এবং মাইক্রোসেকেন্ড-ইসিএন চিহ্ন এবং পিএফসি বিরতির জন্য রেজোলিউশন কাউন্টার।

অপটিক্স, DAC এবং AOC ক্যাবলিং

400G এবং 800G এ, ক্যাবলিং প্ল্যান্ট একটি বাস্তব প্রকৌশল সমস্যা হয়ে ওঠে। ফর্ম ফ্যাক্টর, লিঙ্ক বাজেট এবং ব্রেকআউট কনফিগারেশনের জন্য প্রাথমিক পরিকল্পনা প্রয়োজন।

• DAC (সরাসরি সংযুক্ত কপার):400G এর জন্য ~3 মিটার পর্যন্ত, সর্বনিম্ন খরচ এবং সর্বনিম্ন শক্তি। স্কেল এ ভারী এবং ভারী.
• AOC (অ্যাক্টিভ অপটিক্যাল কেবল):~30 মিটার পর্যন্ত, DAC থেকে পাতলা, কিন্তু স্থির-দৈর্ঘ্য এবং উভয় প্রান্তে অপটিক্স শক্তি খরচ করে।
• প্লাগযোগ্য অপটিক্স:AOC দূরত্ব অতিক্রম করা প্রয়োজন। QSFP-DD এবং OSFP ফর্ম ফ্যাক্টরগুলি 400G/800G তে প্রাধান্য পায়৷ এমপিও/এমটিপি ফাইবার সমাবেশগুলি সমান্তরাল-ফাইবার সংযোগগুলি পরিচালনা করে।

400G/800G এ আন্তঃ-র্যাক লিঙ্ক এবং স্ট্রাকচার্ড ক্যাবলিংয়ের জন্য, MPO সমাপ্তির সমান্তরাল অপটিক্স এখন আদর্শ। ট্রাঙ্ক কেবল এবং ব্রেকআউট অ্যাসেম্বলির মধ্যে পছন্দ নির্ভর করে আপনার সুইচ পোর্ট অ্যালোকেশনের উপর - দেখুন আমাদেরএমপিও ব্রেকআউট ক্যাবল গাইডব্যবহারিক নির্বাচন যুক্তির জন্য, এবং বিস্তৃতএমপিও ট্রাঙ্ক বনাম ব্রেকআউট তুলনাযখন পাতার-থেকে-মেরুদণ্ড দৌড়ানোর পরিকল্পনা করে।

AI ফ্যাব্রিক্সে RoCE এবং লসলেস ইথারনেট

RoCEv2 (আরডিএমএ ওভার কনভার্জড ইথারনেট v2) হল AI কাজের চাপের জন্য প্রভাবশালী ইথারনেট পরিবহন। এটি NIC-কে উভয় প্রান্তে কার্নেল জড়িত না করে সরাসরি GPU মেমরি অঞ্চলের মধ্যে ডেটা স্থানান্তর করতে দেয়। NCCL, GPU কমিউনিকেশন লাইব্রেরি যা প্রায় সমস্ত বিতরণ করা প্রশিক্ষণ ফ্রেমওয়ার্কের অন্তর্নিহিত, যখন InfiniBand উপলব্ধ না থাকে তখন RoCEv2 ব্যবহার করে।

সঠিকভাবে কনফিগার করা হলে RoCE ভাল কাজ করে। ভুলভাবে কনফিগার করা হলে এটি কুশ্রী ব্যর্থ হয়। দইনফিনিব্যান্ড ট্রেড অ্যাসোসিয়েশনRoCE স্পেসিফিকেশন প্রকাশ করে, এবং বেশিরভাগ NIC এবং সুইচ বিক্রেতারা বিস্তারিত কনফিগারেশন গাইড প্রকাশ করে যা শেষ-থেকে-শেষ পর্যন্ত অনুসরণ করা উচিত।

কেন ক্ষতিহীন আচরণ গুরুত্বপূর্ণ

RDMA একটি ক্ষতিহীন পরিবহন অনুমান করে ডিজাইন করা হয়েছিল। যখন প্যাকেটগুলি কমে যায়, তখন RDMA পুনরুদ্ধার ব্যয়বহুল - যান-ব্যাক-N পুনঃপ্রচার মিলিসেকেন্ডের জন্য একটি প্রশিক্ষণের ধাপ স্থগিত করতে পারে, যা মাইক্রোসেকেন্ড-স্কেল RDMA বাজেটের তুলনায় বিশাল।

ইথারনেটে আনুমানিক ক্ষতিহীন আচরণের জন্য, ফ্যাব্রিক দুটি প্রক্রিয়া একসাথে কাজ করে:

• PFC (অগ্রাধিকার প্রবাহ নিয়ন্ত্রণ, IEEE 802.1Qbb):একটি সুইচ একটি নির্দিষ্ট অগ্রাধিকার সারিতে আগত ট্র্যাফিককে বিরতি দেয় যখন এটির বাফার পূর্ণ হয়। এটি একটি শেষ-অবলম্বন প্রক্রিয়া৷
• ECN (এক্সপ্লিসিট কনজেশন নোটিফিকেশন, RFC 3168):সারি একটি থ্রেশহোল্ডের কাছে গেলে প্যাকেট চিহ্নিত করে। NIC প্রকৃতপক্ষে বাফারগুলি পূরণ করার আগে তার প্রেরণের হার হ্রাস করে, আদর্শভাবে PFC সম্পূর্ণরূপে এড়িয়ে যায়।

লক্ষ্য হল ECN-এর জন্য প্রায় সমস্ত যানজট ব্যবস্থাপনা করা, PFC একটি নিরাপত্তা বেষ্টনী হিসাবে। আপনি যদি স্থির-স্টেট ট্রাফিকের মধ্যে ঘন ঘন PFC পজ দেখেন, আপনার ECN থ্রেশহোল্ডগুলি ভুল বা আপনার ফ্যাব্রিক ছোট।

সাধারণ RoCE স্থাপনার ব্যর্থতা

কীভাবে একটি এআই ক্লাস্টার নেটওয়ার্ক ডিজাইন করবেন: একটি কার্যকরী কাঠামো

এই বিভাগটি বেশিরভাগ "AI নেটওয়ার্কিং" নিবন্ধগুলি এড়িয়ে যায়৷ নীচের সাতটি ধাপ আপনাকে প্রতিটি পর্যায়ে কংক্রিট ইনপুট এবং আউটপুট দেয়।

ধাপ 1: কাজের চাপ এবং স্কেল সংজ্ঞায়িত করুন

ইনপুট:কাজের চাপের ধরন (প্রিট্রেইনিং, ফাইন-টিউনিং, ইনফারেন্স, মিক্সড), টার্গেট GPU কাউন্ট আজ, টার্গেট GPU কাউন্ট 18 মাসে, মডেল সাইজ রেঞ্জ।

আউটপুট:একটি ওয়ার্কলোড প্রোফাইল যা NIC গতি এবং ওভারসাবস্ক্রিপশন সহনশীলতা জানায়। ফ্রন্টিয়ার মডেলের বৃহৎ প্রাক-প্রশিক্ষণের জন্য 400G+ কাপড় না-ব্লক করা প্রয়োজন। ফাইন-টিউনিং ওয়ার্কলোড 2:1 ওভারসাবস্ক্রিপশন সহ্য করতে পারে। ইনফারেন্স ক্লাস্টারগুলির প্রায়শই কম ব্যান্ডউইথের প্রয়োজন হয় তবে নিম্ন টেল লেটেন্সি।

ধাপ 2: সার্ভার প্রতি NIC গতি এবং গণনা চয়ন করুন

সিদ্ধান্তের যুক্তি:

• বড় মডেলের পূর্বপ্রশিক্ষণ, 8-GPU সার্ভার → 4–8×400G NICs প্রতি সার্ভার, বা 4×800G
• মিড-স্কেল প্রশিক্ষণ, 8-GPU সার্ভার → 2–4×400G NICs প্রতি সার্ভার
• ইনফারেন্স সার্ভিং → 1–2×200G বা 400G NICs প্রতি সার্ভার, মডেল সমান্তরালতার উপর নির্ভর করে

হোস্টে PCIe ব্যান্ডউইথ যাচাই করুন। একটি একক 400G পোর্ট লাইন হারে চালানোর জন্য PCIe Gen5 x16 প্রয়োজন; 800G-এ দ্বিগুণ করার জন্য Gen6 বা দুটি স্লটে বিভক্ত করা প্রয়োজন।

ধাপ 3: পাতার স্তরটি আকার দিন

কাজের উদাহরণ - 32-নোড ক্লাস্টার, নোড প্রতি 8টি GPU, নোড প্রতি 4×400G NICs:

• মোট সার্ভার-মুখী পোর্টের প্রয়োজন: 400G এ 32 × 4=128 পোর্ট
• নোড প্রতি ডাউনলিঙ্ক ব্যান্ডউইথ: 4 × 400=1.6 Tbps
• মোট ক্লাস্টার ডাউনলিংক ব্যান্ডউইথ: 32 × 1.6=51.2 Tbps

একটি 64-পোর্ট 400G লিফ সুইচ ব্যবহার করে (25.6 Tbps মোট ক্ষমতা), প্রতিটি পাতা 32টি সার্ভার পোর্টকে সংযুক্ত করতে পারে এবং অবশিষ্ট 32টি পোর্টকে আপলিংক হিসাবে ব্যবহার করতে পারে। 4টি পাতা দিয়ে, আপনি সমস্ত 128টি সার্ভার পোর্ট কভার করেন। প্রতিটি পাতা মেরুদণ্ডের দিকে 32 × 400G=12.8 Tbps আপলিঙ্কের অবদান রাখে।

ধাপ 4: মেরুদণ্ডের স্তরটি আকার দিন

একটি নন-ব্লকিং (1:1) ডিজাইনের জন্য, মোট আপলিংক ক্ষমতা অবশ্যই মোট ডাউনলিংক ক্ষমতার সমান হবে। ধাপ 3 থেকে:

• মোট পাতার আপলিংক প্রয়োজন: 4টি পাতা × 12.8 Tbps=51.2 Tbps
• যদি প্রতিটি মেরুদণ্ডে 32×400G পোর্ট থাকে=12.8 Tbps, আপনার 4টি মেরুদণ্ড প্রয়োজন
• প্রতিটি পাতা প্রতিটি মেরুদণ্ডে 8টি আপলিঙ্ক ব্যবহার করে সমস্ত 4টি মেরুদণ্ডের সাথে সংযোগ করে (8 × 400G × 4=12.8 Tbps প্রতি পাতা - ম্যাচ)

যদি 64-পোর্ট 400G মেরুদণ্ডের সুইচ ব্যবহার করা হয়, প্রতিটি মেরুদণ্ডে ক্লাস্টার বাড়ানোর অতিরিক্ত ক্ষমতা থাকে, যা ধাপ 1 থেকে 18 মাসের পরিকল্পনার জন্য উপযোগী।

ধাপ 5: ওভারসাবস্ক্রিপশন অনুপাত সেট করুন

ধাপ 6: আলাদা কম্পিউট, স্টোরেজ এবং ম্যানেজমেন্ট ট্রাফিক

বিচ্ছিন্নতা বাড়ানোর জন্য তিনটি বিকল্প:

• QoS ক্লাসের সাথে ভাগ করা ফ্যাব্রিক:পৃথক DSCP অগ্রাধিকারের উপর গণনা, স্টোরেজ এবং ব্যবস্থাপনা। সর্বনিম্ন খরচ; সতর্ক QoS কনফিগারেশন প্রয়োজন।
• যৌক্তিকভাবে আলাদা করা VLAN/VRF:একই হার্ডওয়্যার, আলাদা কন্ট্রোল প্লেন। একাধিক ভাড়াটে ক্লাস্টারের জন্য দরকারী।
• শারীরিকভাবে আলাদা কাপড়:কম্পিউট বনাম স্টোরেজের জন্য ডেডিকেটেড NIC, সুইচ এবং ক্যাবলিং। সর্বোচ্চ খরচ; ফ্রন্টিয়ার-মডেল ক্লাস্টারে সাধারণ যেখানে কোনো বিতর্ক অগ্রহণযোগ্য

AI-এর জন্য স্টোরেজ ট্র্যাফিক নিজেই ভারী - চেকপয়েন্ট একটি বড় মডেলের জন্য লিখেছে ছোট বিস্ফোরণে শত শত গিগাবাইট স্থানান্তর করতে পারে৷ এটির জন্য স্পষ্টভাবে পরিকল্পনা করুন। একটি উচ্চ-ঘনত্বের কাঠামোযুক্ত ক্যাবলিং প্ল্যান্ট ব্যবহার করেএমপিও/এমটিপি ট্রাঙ্ক কেবলএকই ভৌত অবকাঠামোতে সমান্তরাল কাপড় চালানো সহজ করে।

ধাপ 7: উৎপাদনের আগে যাচাই করুন

নেটওয়ার্ক-স্তরের পরীক্ষায় কিছু সমস্যা হয়। কাজের চাপ-স্তরের পরীক্ষা বাকিটা ধরে।

• ব্যান্ডউইথ:iperf3 বা ib_send_bw প্রতিটি নোড জোড়ার মধ্যে; NIC লাইন রেটের 90%+ এ পৌঁছাতে হবে।
• বিলম্ব:ib_read_lat বা অনুরূপ; চেক বিতরণ, শুধু গড় নয়। P99.9 গড় থেকে বেশি গুরুত্বপূর্ণ।
• প্যাকেটের ক্ষতি:লোডের নিচে 24-ঘন্টা ভিজিয়ে পরীক্ষা চালান; RoCE ট্র্যাফিক ক্লাসে কোনো অ-শূন্য ক্ষতি একটি সমস্যা।
• ECN চিহ্নিত আচরণ:PFC ফায়ারের আগে চিহ্নগুলি উপস্থিত হয় তা যাচাই করুন; যদি পিএফসি বিরতিগুলি স্থির অবস্থায় ঘন ঘন হয়, তবে পুনরায় করুন।
• সম্মিলিত যোগাযোগ:সম্পূর্ণ ক্লাস্টার আকারে NCCL পরীক্ষা চালান (all_reduce_perf, all_gather_perf)। বিক্রেতা রেফারেন্স নম্বরের সাথে তুলনা করুন।
• চাকরির-স্তরের পরীক্ষা:4-6 ঘন্টার জন্য একটি প্রতিনিধি প্রশিক্ষণ কাজ চালান। একটি সঠিকভাবে-আকারের মডেলে GPU ব্যবহার - টেকসই মান 50% এর নিচে দেখুন সাধারণত একটি নেটওয়ার্ক সমস্যা নির্দেশ করে।

ঐতিহ্যগত ডেটা সেন্টার নেটওয়ার্ক বনাম এআই স্পাইন{0}}লিফ ফ্যাব্রিক

ইথারনেট RoCE বনাম InfiniBand: দ্রুত সিদ্ধান্ত নির্দেশিকা

প্রশ্নটি প্রায় প্রতিটি এআই ক্লাস্টার প্রকল্পে আসে। দুজনেই কাজ করে। পছন্দ সাধারণত অপারেশনাল ফিট নিচে আসে, বিশুদ্ধ কর্মক্ষমতা না.

• InfiniBand চয়ন করুন যদি:আপনার দল ইতিমধ্যেই InfiniBand ফ্যাব্রিকগুলি পরিচালনা করে, আপনি ক্ষতিহীন পরিবহনের সহজতম পথ চান, অথবা আপনি একটি সম্পূর্ণ-বিক্রেতা রেফারেন্স আর্কিটেকচার কিনছেন৷
• ইথারনেট RoCE চয়ন করুন যদি:আপনার অপারেশন টিম হল ইথারনেট-নেটিভ, আপনি মাল্টি-বিক্রেতা সুইচ বিকল্প চান, আপনাকে বিদ্যমান ডেটা সেন্টার নেটওয়ার্কগুলির সাথে AI ফ্যাব্রিককে একীভূত করতে হবে, অথবা আপনি বর্তমান InfiniBand টপোলজিগুলি পরিষ্কারভাবে সমর্থন করে তার বাইরে স্কেলিং আশা করছেন৷

2023 সালে গঠিত আল্ট্রা ইথারনেট কনসোর্টিয়াম, বিশেষত এআই কাজের চাপের জন্য ইথারনেট বর্ধনের মানককরণে সক্রিয়ভাবে কাজ করছে। 2026 সালে বেশিরভাগ নতুন ক্লাস্টারের জন্য, ইথারনেট RoCE একটি ডিফল্ট ডিফল্ট যদি না অন্যথায় বেছে নেওয়ার একটি নির্দিষ্ট কারণ থাকে।

এড়ানোর জন্য সাধারণ ভুল

NIC চেক না করে সুইচ আপগ্রেড করা

একটি 800G সুইচ ফ্যাব্রিক আপনার জন্য কিছুই করে না যদি আপনার NICs 400G এ চলে বা আপনার হোস্ট PCIe ব্যান্ডউইথ শেষ হয়ে যায়। প্রথমে হোস্ট সাইড ডিজাইন করুন, তারপর সুইচ সাইড। PCIe Gen5 x16 একটি একক পোর্টকে প্রায় 504 Gbps বাস্তব-ওয়ার্ল্ড থ্রুপুট - 400G-এর জন্য আরামদায়ক, 800G-এর জন্য প্রান্তিক সীমাবদ্ধ করে৷

পোর্ট স্পিড অপ্টিমাইজ করা কিন্তু তারের ঘনত্ব উপেক্ষা করা

64-পোর্ট 400G পাতায়, প্রতিটি সুইচের নীচের ক্যাবলিং পরিকল্পনা ছাড়াই শারীরিকভাবে নিয়ন্ত্রণের অযোগ্য হয়ে উঠতে পারে। যেখানে উপযুক্ত সেখানে ব্রেকআউট তারগুলি ব্যবহার করুন, কাঠামোবদ্ধ পথের মাধ্যমে ফাইবারগুলিকে রুট করুন এবং সংযোগকারীর ধরনগুলিতে মানক করুন৷ সংযোগকারী গুণমান এবং উচ্চ গতিতে সমাপ্তি ব্যাপার - আমাদেরফাইবার অপটিক সংযোগকারী প্রকার নির্দেশিকাLC, MPO এবং উদীয়মান উচ্চ-ঘনত্ব ফর্মের কারণগুলির মধ্যে ট্রেডঅফগুলিকে কভার করে৷

RoCE কে প্লাগ-এবং-প্লে হিসাবে বিবেচনা করা

বাস্তব AI ক্লাস্টারগুলির মধ্যে সবচেয়ে বড় ডিজাইনের ভুল হল ভুল সুইচ বাছাই না করা - এটি কতটা শেষ-শেষ করতে-RoCE কনফিগারেশনের কাজ প্রয়োজন তা অবমূল্যায়ন করছে। ECN থ্রেশহোল্ড, PFC অগ্রাধিকার এবং MTU সামঞ্জস্যের জন্য বাজেটের সময়। কোনো উত্পাদন কাজের চাপ চালানোর আগে একটি উত্সর্গীকৃত বৈধতা পর্বের পরিকল্পনা করুন।

QoS ছাড়াই এক ফ্যাব্রিকে সমস্ত ট্র্যাফিক মিশ্রিত করা

স্টোরেজ রেপ্লিকেশন, মনিটরিং এজেন্ট এবং ম্যানেজমেন্ট ট্র্যাফিক যদি তারা কম্পিউট ট্র্যাফিকের সাথে বাফারগুলি ভাগ করে তবে প্রশিক্ষণের ধাপের সময় নষ্ট করতে পারে। হয় তাদের শারীরিকভাবে আলাদা করুন অথবা আলাদা অগ্রাধিকার এবং ECN কনফিগারেশন সহ কঠোর QoS ক্লাসগুলি প্রয়োগ করুন৷

শুধুমাত্র আজকের ক্লাস্টারের জন্য বিল্ডিং

বেশিরভাগ AI ক্লাস্টার প্রাথমিক স্থাপনার দুই বছরের মধ্যে 4-8× বৃদ্ধি পায়। সুইচ রেডিক্স এবং মেরুদণ্ডের ক্ষমতা বেছে নিন যা অ-বিঘ্নিত প্রসারণকে অনুমতি দেয়। একটি লাইভ এআই ডেটা সেন্টারে তারগুলি টানানো ব্যয়বহুল; স্থাপনার সময় পরিকল্পনা নালী এবং প্যাচ ক্ষমতা সস্তা।

কখন 400G থেকে 800G তে স্টেপ আপ করতে হবে

800G NIC এবং সুইচ পাওয়া যায় কিন্তু প্রতি পোর্টের দাম বেশি। ধাপ বাড়ানো বিবেচনা করুন যখন:

• প্রতি-GPU ব্যান্ডউইথের প্রয়োজন যা 400G প্রদান করতে পারে - যেমন, H100 এবং NVLink 5 সহ নতুন GPUগুলি উচ্চতর বাহ্যিক ব্যান্ডউইথ আশা করে
• NCCL সমস্ত-গুচ্ছ আকারের সাথে টাইম স্কেল খারাপভাবে হ্রাস করে, যা নেটওয়ার্ক স্যাচুরেশন নির্দেশ করে
• 400G-এ তারের ঘনত্ব শারীরিকভাবে নিয়ন্ত্রণের অযোগ্য হয়ে উঠছে - কম 800G পোর্ট আরও 400G পোর্ট প্রতিস্থাপন করতে পারে
• আপনার রোডম্যাপে পরবর্তী GPU প্রজন্মের ক্লাস্টারের অবচয় উইন্ডোর মধ্যে এটির প্রয়োজন হবে বলে আশা করা হচ্ছে
• আপনি একটি ফ্রন্টিয়ার-মডেল ট্রেনিং ক্লাস্টার তৈরি করছেন যেখানে কোনো গণনা নিষ্ক্রিয় সময়ের জন্য অপটিক্স আপগ্রেডের চেয়ে উল্লেখযোগ্যভাবে বেশি খরচ হয়

2026 সালে বেশিরভাগ উত্পাদন ক্লাস্টারের জন্য, 400G খরচ, বাস্তুতন্ত্রের পরিপক্কতা এবং সক্ষমতার সঠিক ভারসাম্য বজায় রাখে. 800G উচ্চ পর্যায়ে এবং ক্লাস্টারগুলির জন্য একটি অগ্রবর্তী বিনিয়োগ হিসাবে আজকে তৈরি হচ্ছে এবং 4-5 বছর চলবে বলে আশা করা যায়৷

উপসংহার

সবচেয়ে শক্তিশালী AI ক্লাস্টার নেটওয়ার্ক দ্রুততম সুইচ সহ নয়। এটি এমন একটি যেখানে NIC পছন্দ, পাতা/মেরুদন্ডের আকার, ওভারসাবস্ক্রিপশন, RoCE কনফিগারেশন, ট্রাফিক বিচ্ছেদ এবং ফিজিক্যাল ক্যাবলিং সবই একে অপরকে সমর্থন করে এবং কাজের চাপের জন্য তাদের বেছে নেওয়া হয়েছিল।

কাজের চাপ এবং 18-মাসের বৃদ্ধি পরিকল্পনা থেকে শুরু করুন। বাস্তব সংখ্যা ব্যবহার করে প্রতিটি স্তরে ব্যান্ডউইথের চাহিদা গণনা করুন, শুধুমাত্র থাম্বের নিয়ম নয়। RoCE এন্ডকে কনফিগার করুন-শেষে-এবং বাস্তব সম্মিলিত যোগাযোগের বেঞ্চমার্কের সাথে যাচাই করুন। ক্যাবলিং প্ল্যান্টের জন্য বাজেট - 400G এবং 800G এ, ভৌত স্তরটি আর তুচ্ছ নয়।

যে ক্লাস্টারটি প্রতিটি প্রশিক্ষণের ধাপের মাধ্যমে 95%+ ব্যবহারে তার GPU-গুলিকে ব্যস্ত রাখে সেটি হল এই সমস্ত স্তরের দিকে মনোযোগ দেওয়া। যে ক্লাস্টারটি একটি দ্রুত সুইচ এবং একটি ধীর ফ্যাব্রিক সহ জাহাজে আসে তা ব্যাখ্যা করতে বছর ব্যয় করবে কেন GPU গুলি নিষ্ক্রিয়।

আরও পড়া

• RFC 7938 - BGP ইন লার্জ-স্কেল ডেটা সেন্টার
• InfiniBand ট্রেড অ্যাসোসিয়েশন - RoCE স্পেসিফিকেশন
• NVIDIA নেটওয়ার্কিং ডকুমেন্টেশন
• ফাইবার অপটিক কেবল ইনস্টলেশন গাইড
• সন্নিবেশ ক্ষতি বনাম রিটার্ন লস ব্যাখ্যা করা হয়েছে