AI ইনফারেন্স নেটওয়ার্কের জন্য InfiniBand বনাম RoCE

বেছে নিনইনফিনিব্যান্ডযখন আপনার অনুমান কাজের চাপ অনুমানযোগ্য লেজ লেটেন্সি দ্বারা বেঁচে থাকে বা মারা যায়, এবং বেছে নিনRoCE(আরডিএমএ ওভার কনভার্জড ইথারনেট) আপনি যখন ইথারনেট ফ্যাব্রিকে RDMA-শ্রেণীর পারফরম্যান্স চান তখন আপনি আপনার ইতিমধ্যে থাকা টিমের সাথে স্কেল করতে, ভাগ করতে এবং পরিচালনা করতে পারেন৷ কোন বিকল্পই সর্বত্র জয়ী হয় না। সঠিক কল নির্ভর করে আপনার অনুমান প্যাটার্ন, আপনার p99 এবং p999 লেটেন্সি টার্গেট, GPU স্কেল, বাজেট এবং কতটা ক্ষতিহীন-ইথারনেট টিউনিং দক্ষতা আসলে আপনার দলে বসে।

কেন নেটওয়ার্ক ইনফারেন্স টিম প্রত্যাশার চেয়ে বেশি গুরুত্বপূর্ণ

বছরের পর বছর ধরে, অনুমানকে GPU গল্পের সহজ অর্ধেক হিসাবে বিবেচনা করা হয়েছিল: একটি একক নোডে লোড করা একটি মডেল, অনুরোধগুলি স্বাধীনভাবে পরিবেশিত হয়, খুব সামান্য পূর্ব-পশ্চিমে ট্রাফিক৷ সেই ছবি এখন সেকেলে। আধুনিক অনুমান ক্রমবর্ধমানভাবে বিতরণ করা হয়, এবং বেশ কয়েকটি নিদর্শন ফ্যাব্রিকের উপর প্রকৃত চাপ দেয়।

• টেনসর সমান্তরালতাGPU গুলি জুড়ে একটি একক স্তর বিভক্ত করে, তাই প্রতিটি টোকেন পদক্ষেপ তাদের মধ্যে সমস্ত-কমানো বা সমস্ত-একত্রিত ক্রিয়াকলাপকে ট্রিগার করে৷ এটি ঘন ঘন, লেটেন্সি-সংবেদনশীল, ক্রস-GPU ট্রাফিক যা GPUগুলি অপেক্ষা করার সময় ব্লক করে।
• পাইপলাইন সমান্তরালতাএক পর্যায় থেকে পরবর্তী পর্যায়ে হ্যান্ড অ্যাক্টিভেশন, প্রায়ই নোড জুড়ে, প্রতিটি ফরোয়ার্ড পাসে ক্রস-নোড নির্ভরতা যোগ করে।
• বিচ্ছিন্ন প্রিফিল এবং ডিকোডকম্পিউট-ভারী প্রিফিল ফেজকে লেটেন্সি-সংবেদনশীল ডিকোড ফেজ থেকে আলাদা করে, তারপর তাদের মধ্যে কেভি ক্যাশে সরিয়ে দেয়। এই স্থানান্তরগুলি বড় এবং বিস্ফোরিত, এবং যেকোনো বিলম্ব সরাসরি ধীর সময়-থেকে-প্রথম-টোকেন এবং আন্তঃ-টোকেন লেটেন্সি হিসাবে দেখায়।
• পুনরুদ্ধার-অগমেন্টেড জেনারেশন (RAG)ভেক্টর এবং অনুসন্ধান পরিষেবাগুলিতে পূর্ব-পশ্চিম ট্রাফিক যোগ করে। এটি সাধারণত সমষ্টিগত ক্রিয়াকলাপের তুলনায় কম লেটেন্সি-গুরুত্বপূর্ণ, কিন্তু এটি এখনও ফ্যাব্রিক লোড করে, বিশেষ করে উচ্চ ক্যোয়ারী ভলিউমে।
• মাল্টি-ভাড়াটিয়া পরিবেশন করছেঅনেক মডেল এবং ব্যবহারকারীকে একই ফ্যাব্রিকে রাখে, যেখানে মাইক্রোবার্স্ট এবং কোলাহল-প্রতিবেশী প্রভাব প্রধান ঝুঁকি হয়ে ওঠে।

যখন নেটওয়ার্ক বাধাগ্রস্ত হয়, তখন উপসর্গগুলি ব্যয়বহুল হয়: উচ্চতর সময়-প্রথম-টোকেন, ডেটার জন্য অপেক্ষা করার সময় GPU গুলি বন্ধ হয়ে যায়, থ্রুপুট যা বিস্ফোরণে ভেঙে পড়ে, এবং p95 এবং p99 অস্থির৷ এবং এখানে সেই অংশটি যা বেঞ্চমার্কগুলিকে ট্রিপ করে: গড় বিলম্বিতা এটি সমস্ত লুকিয়ে রাখে। উৎপাদন অনুমান লেজের উপর বিচার করা হয়, গড় নয়।

InfiniBand বনাম RoCE: AI অনুমানের জন্য সারাংশ সারণী

InfiniBand কি?

InfiniBand হল একটি উদ্দেশ্য-নির্মিত নেটওয়ার্ক ফ্যাব্রিক যা শুরু থেকেই কম লেটেন্সি, উচ্চ থ্রুপুট এবং ক্ষতিহীন যোগাযোগের জন্য ডিজাইন করা হয়েছে৷ এটি ইথারনেটের দ্রুততর স্বাদ নয়। এটি তার নিজস্ব হোস্ট চ্যানেল অ্যাডাপ্টার, সুইচ, সাবনেট ম্যানেজার, ক্যাবলিং ইকোসিস্টেম, এবং কনজেশন-কন্ট্রোল মডেল সহ আসে৷ এর সংজ্ঞায়িত মান হল নির্ধারক আচরণ: অনেক জিপিইউ কঠোর সময়ের প্রয়োজনীয়তার সাথে যোগাযোগ করতে পারে এবং ফ্যাব্রিক সামষ্টিক ট্র্যাফিক ভারী হওয়া সত্ত্বেও ধারাবাহিকভাবে আচরণ করে।

আধুনিক AI-অরিয়েন্টেড ইনফিনিব্যান্ড প্ল্যাটফর্মগুলি বৃহৎ GPU ক্লাস্টারগুলির দিকে লক্ষ্য করে ক্ষমতা সহ সেই ভিত্তিটিকে প্রসারিত করে৷ NVIDIA এর কোয়ান্টাম ইনফিনিব্যান্ড লাইন, উদাহরণস্বরূপ, যোগ করেঅভিযোজিত রাউটিং, ইন-নেটওয়ার্ক কম্পিউটিং, এবং টেলিমেট্রি-ভিত্তিক যানজট নিয়ন্ত্রণ, যা ফ্যাব্রিককে বুদ্ধিমত্তার সাথে ট্র্যাফিক ছড়িয়ে দিতে এবং একজন ভাড়াটেদের বোঝা অন্যের থেকে আলাদা করতে সহায়তা করে। অনুমানের জন্য, InfiniBand তার স্থান অর্জন করে যখন কাজের চাপ ঝাঁকুনি সহ্য করতে পারে না বা যখন বেশ কয়েকটি GPU নোডকে দ্রুত এবং ধারাবাহিকভাবে ডেটা বিনিময় করতে হবে।

বাণিজ্য-অফ হল খরচ, ইকোসিস্টেম ঘনত্ব, এবং অপারেশনাল বিশেষীকরণ। একটি ডেডিকেটেড InfiniBand ফ্যাব্রিক মানে ডেডিকেটেড সুইচ, অ্যাডাপ্টার, ক্যাবল বা অপটিক্যাল মডিউল এবং ইঞ্জিনিয়াররা InfiniBand ফ্যাব্রিক ম্যানেজমেন্টের সাথে আরামদায়ক। একটি প্রতিষ্ঠানের জন্য যা ইতিমধ্যেই বৃহৎ ইথারনেট এস্টেট চালাচ্ছে, একটি পৃথক ফ্যাব্রিকে বোল্ট করা ক্রয় জটিলতা, অতিরিক্ত- যন্ত্রাংশ পরিকল্পনা, এবং ওভারহেড পর্যবেক্ষণ করে৷

RoCE (আরডিএমএ ওভার কনভার্জড ইথারনেট) কি?

RoCE ইথারনেট নেটওয়ার্কে কম CPU ওভারহেড সহ মেমরি ডেটা মুভমেন্ট-থেকে সরাসরি মেমরি-আরডিএমএ নিয়ে আসে। RoCEv2, আধুনিক ডেটা সেন্টারে ব্যবহৃত সংস্করণ, লেয়ার 3 আইপি নেটওয়ার্ক জুড়ে রাউটেবল এবং এর দ্বারা প্রমিত করা হয়েছিলইনফিনিব্যান্ড ট্রেড অ্যাসোসিয়েশন. পরিচিত NIC, সুইচ, অপটিক্স, এবং মনিটরিং সরঞ্জামগুলি পুনঃব্যবহার করার সময় সেই রুটিবিলিটি হল RoCE কে ইথারনেট পাতার মেরুদণ্ডের ডিজাইনে স্বাভাবিকভাবে ফিট- করতে দেয়৷

ধরা হল যে RDMA ট্রান্সপোর্টগুলি প্রায়-ক্ষতিহীন নেটওয়ার্ক ধরে নেয়৷ একটি প্যাকেট ফেলে দিন এবং পরিবহনটি পুনঃপ্রচার আচরণে ফিরে আসে যা লেজের লেটেন্সি নষ্ট করে। তাই RoCE-এর নিচে ইথারনেটের প্রয়োজন একটি ক্ষতিহীন ফ্যাব্রিকের মতো আচরণ করার জন্য, এবং এটি বিশেষ করে দুটি প্রক্রিয়ার যত্নশীল কনফিগারেশনের উপর নির্ভর করে:অগ্রাধিকার প্রবাহ নিয়ন্ত্রণ (IEEE 802.1Qbb), যা ড্রপ প্রতিরোধ করার জন্য একটি একক ট্রাফিক ক্লাস বিরতি দেয়, এবংস্পষ্ট কনজেশন নোটিফিকেশন (ECN), যা তাড়াতাড়ি যানজটের সংকেত দেয় তাই বাফার ওভারফ্লো হওয়ার আগে প্রেরকদের গতি কমে যায়। সেই সারি ব্যবস্থাপনা, বাফার বরাদ্দকরণ, এবং QoS ম্যাপিং যোগ করুন, এবং এটি স্পষ্ট হয়ে যায় যে উচ্চ{1}}কর্মক্ষমতা RoCE সাধারণ ইথারনেট নয়৷

ভালভাবে সম্পন্ন হয়েছে, RoCE বিস্তৃত উৎপাদন অনুমান পরিষেবাগুলির জন্য যথেষ্ট লেটেন্সি এবং থ্রুপুট প্রদান করে এবং অনেক ইনফারেন্স ওয়ার্কলোড বিতরণ করা প্রশিক্ষণের তুলনায় কম শক্তভাবে সিঙ্ক্রোনাইজ করা হয়, যা RoCE এর পক্ষে কাজ করে। খারাপভাবে সম্পন্ন করা হয়েছে, এটি প্যাকেটের ক্ষতি, হেড-এর-লাইন ব্লকিং, কনজেশন ছড়ানো, এবং অস্থির টেল তৈরি করে, যার সবগুলিই সরাসরি পরিষেবার মানের অবনতিতে অনুবাদ করে৷

InfiniBand বনাম RoCE লেটেন্সি: p99 অনুমানের জন্য কোনটি ভাল?

উভয় কাপড়ই উচ্চ-ব্যান্ডউইথ, কম-লেটেন্সি নেটওয়ার্কিং সরবরাহ করতে পারে। তারা সেখানে কিভাবে তারা ভিন্ন. InfiniBand নির্মাণ দ্বারা নির্ধারক, তাই মিশ্র লোডের মধ্যেও জিটার কম থাকে। RoCE অনেক কাজের চাপের জন্য এটিকে মেলে ধরতে পারে, কিন্তু ফলাফল ইথারনেট ফ্যাব্রিক এবং এটি কতটা ভালোভাবে টিউন করা হয়েছে তার উপর নির্ভর করে।

একটি স্থাপনার দৃষ্টিকোণ থেকে, উত্পাদনের আসল সমস্যাটি খুব কমই পিক ব্যান্ডউইথ। এটি মিশ্র, ফেটে যাওয়া, মাল্টি-ভাড়াটে ট্রাফিকের মধ্যে জর্জরিত৷ একটি RoCE ফ্যাব্রিক যা একটি পরিষ্কার, iperf-শৈলীর থ্রুপুট পরীক্ষা করে, এখনও তার p99 টার্গেট মিস করতে পারে যখন মাইক্রোবার্স্ট এবং বিবাদ ছবিটি প্রবেশ করে। একটি ল্যাব বেঞ্চমার্ক এবং একটি প্রোডাকশন এসএলএর মধ্যে সেই ব্যবধানটি যেখানে বেশিরভাগ বিস্ময় বাস করে।

InfiniBand এর প্রান্ত থাকে যখন:

• পরিষেবাটির কঠোর p99 বা p999 লেটেন্সি টার্গেট রয়েছে৷
• ইনফারেন্স টেনসর বা পাইপলাইন সমান্তরালতার সাথে একাধিক GPU নোডকে বিস্তৃত করে, অথবা বিচ্ছিন্ন প্রিফিল এবং ডিকোড ব্যবহার করে।
• GPU ব্যবহার নেটওয়ার্ক বিলম্বের জন্য অত্যন্ত সংবেদনশীল, তাই স্টলগুলি ব্যয়বহুল।
• ক্লাস্টারটি অল্প সংখ্যক উচ্চ-অগ্রাধিকার কাজের লোড চালায় যেখানে পূর্বাভাসযোগ্যতা নমনীয়তার চেয়ে বেশি।

RoCE সাধারণত যথেষ্ট ভাল হয় যখন:

• অনুরোধগুলি বেশিরভাগই স্বাধীন, বা কাপলিং আলগা।
• একটি নোড বা অল্প সংখ্যক নোডের মধ্যে কাজ চলে।
• ব্যাচ থ্রুপুট অতি-লো টেইল লেটেন্সির চেয়ে বেশি গুরুত্বপূর্ণ।
• দলটি ইতিমধ্যেই ইথারনেট পরিচালনা করে, এবং খরচ বা বিক্রেতার নমনীয়তা একটি অগ্রাধিকার।
• ক্লাস্টার একাধিক ভাড়াটে বা মিশ্র কাজের চাপ সমর্থন করে।

RoCE বনাম InfiniBand খরচ: আসলে কি TCO চালায়?

RoCE প্রায়ই সস্তা বিকল্প বলা হয়, কিন্তু সুইচ মূল্য ছবির একটি ছোট অংশ। একটি বাস্তবসম্মত তুলনা পুরো স্ট্যাকের দিকে দেখায়: নেটওয়ার্ক অ্যাডাপ্টার বা HCA, সুইচ, অপটিক্যাল মডিউল, DAC, AOC, এবং ফাইবার ক্যাবলিং, র্যাক টপোলজি, পাওয়ার এবং কুলিং, নেটওয়ার্ক অপারেটিং সিস্টেম, মনিটরিং এবং টেলিমেট্রি, ইঞ্জিনিয়ারিং সময়, খুচরা যন্ত্রাংশ, বিক্রেতা সমর্থন, এবং 400G বা 800G এর পথ।

InfiniBand সাধারণত একটি উচ্চতর আপফ্রন্ট খরচ বহন করে কারণ এটির জন্য একটি ডেডিকেটেড ফ্যাব্রিক এবং বিশেষায়িত উপাদান প্রয়োজন। পরিবেশে যেখানে নির্ধারক আচরণ সর্বোচ্চ অগ্রাধিকার, এটি টিউনিং এবং সমস্যা সমাধানের প্রচেষ্টাকে হ্রাস করতে পারে যা একটি ক্ষতিহীন ইথারনেট ফ্যাব্রিক দাবি করে। RoCE হার্ডওয়্যার খরচ কমায় যখন একটি বিদ্যমান ইথারনেট এস্টেট, সঠিক ডেটা সেন্টার ব্রিজিং সমর্থন সহ, পুনরায় ব্যবহার করা যেতে পারে, তবে এটি ক্ষতিহীন ফ্যাব্রিক ডিজাইন, যাচাইকরণ, পর্যবেক্ষণ এবং সমস্যা সমাধানে প্রচেষ্টাকে পরিবর্তন করে। একটি কম-মূল্যের RoCE ডিজাইন দ্রুত ব্যয়বহুল হয়ে ওঠে যদি এটি অস্থির বিলম্ব এবং বারবার অগ্নিনির্বাপণের কারণ হয়।

গতিতে আরোহণের সাথে সাথে ব্যয় এবং ঝুঁকি শারীরিক স্তরে কেন্দ্রীভূত হয়। 400G এবং 800G-এ, অপটিক্স বিল এবং ব্যর্থতার মোড উভয়ের উপরই প্রাধান্য পায়। সর্বাধিক উচ্চ -গতির পোর্ট ল্যান্ড করে৷QSFP-DD বা তুলনামূলক ফর্ম ফ্যাক্টর, এবং ডান মেলেএকক-মোড বা মাল্টিমোড অপটিক্সদীর্ঘ-দূরত্বের মডিউলের প্রয়োজন নেই এমন কাপড়ে অতিরিক্ত খরচ এড়াতে আপনার প্রকৃত নাগালের মধ্যে একটি সহজ উপায়।

স্পষ্টভাবে বলুন: আপনার দলে ক্ষতিহীন-ইথারনেট দক্ষতার অভাব থাকলে RoCE সস্তা বিকল্প নয়। ফ্যাব্রিক স্থিতিশীল রাখার ইঞ্জিনিয়ারিং খরচ দ্বারা হার্ডওয়্যারের সঞ্চয় দ্রুত খাওয়া যায়।

পরিমাপযোগ্যতা এবং অপারেশন

স্কেলেবিলিটি পোর্ট গণনার চেয়ে বেশি। এতে ফ্যাব্রিকটি কত সহজে স্থাপন করা হয়, নিরীক্ষণ করা হয়, প্রসারিত হয় এবং কিছু ব্যর্থ হলে পুনরুদ্ধার করা হয়।

InfiniBand শক্তিশালী হয় যখন ক্লাস্টারটি প্রথম দিন থেকে একটি ডেডিকেটেড উচ্চ{0}}কার্যক্ষমতার ফ্যাব্রিক হিসেবে ডিজাইন করা হয়। এটি স্কেলে সামঞ্জস্যপূর্ণ আচরণ প্রদান করে, কিন্তু এটি InfiniBand-নির্দিষ্ট টুলিং, যেমন সাবনেট ম্যানেজার এবং ইউনিফাইড ফ্যাব্রিক ম্যানেজমেন্ট, এবং কর্মীদের আশা করে যারা InfiniBand ধারণার সাথে স্বাচ্ছন্দ্য বোধ করে। এটি জিপিইউ ওয়ার্কলোডের চারপাশে তৈরি কেন্দ্রীভূত এআই ক্লাস্টারগুলির জন্য এটিকে একটি প্রাকৃতিক উপযুক্ত করে তোলে।

ইথারনেট ডেটা সেন্টার ডিজাইনে RoCE স্লট: লিফ-স্পাইন টপোলজি, আইপি রাউটিং, ইসিএমপি, এবং পরিচিত পর্যবেক্ষণ অনুশীলন। ঠিক এই কারণেই এটি ক্লাউড-স্টাইল এবং মাল্টি-টেন্যান্ট জিপিইউ অবকাঠামোতে আবেদন করে। এটি যে শৃঙ্খলার দাবি করে তা হল ধারাবাহিকতা। PFC, ECN, QoS, বাফার ম্যানেজমেন্ট, এবং কনজেশন কন্ট্রোলকে পুরো পথ জুড়ে সুসঙ্গতভাবে ডিজাইন করতে হবে, কারণ ফ্যাব্রিকের এক কোণায় একটি ছোট ভুল কনফিগারেশন একসাথে অনেক কাজের চাপ ছড়িয়ে দিতে পারে এবং হ্রাস করতে পারে। ভৌত স্তরটিও পরিষ্কারভাবে মাপতে হবে; উচ্চ-ঘনত্বএমপিও এবং এমটিপি ট্রাঙ্ক এবং ব্রেকআউট ক্যাবলিংপ্রতিটি সম্প্রসারণকে একটি ক্যাবলিং ধাঁধায় পরিণত করার পরিবর্তে একটি ক্রমবর্ধমান পাতা-মেরুদণ্ডের ফ্যাব্রিককে পরিচালনাযোগ্য রাখে৷

মিরর-ইমেজ পয়েন্টটি উল্লেখ করার মতো: InfiniBand কে যুক্তিযুক্ত করা কঠিন যখন অনুমান বেশিরভাগই একটি একক নোডের মধ্যে থাকে এবং ফ্যাব্রিকটি খুব কমই ব্যবহার করা হয়।

প্রতিটি ইনফারেন্স ওয়ার্কলোডের জন্য কোন নেটওয়ার্ক

যখন RoCE যথেষ্ট ভাল, এবং যখন এটি ঝুঁকিপূর্ণ হয়ে ওঠে

RoCE স্বাধীন বা ঢিলেঢালাভাবে সংযুক্ত অনুরোধ, থ্রুপুট-অরিয়েন্টেড ব্যাচ ওয়ার্ক, এবং মাল্টি-টেনেন্ট ক্লাস্টারের জন্য যথেষ্ট ভালো যেখানে আপনি আইসোলেশন টিউন করতে পারেন, বিশেষ করে যখন দলটি ডেটা সেন্টার ব্রিজিং ইথারনেটে সাবলীল। এটি নির্দিষ্ট, স্বীকৃত উপায়ে ঝুঁকিপূর্ণ হয়ে ওঠে:

• পিএফসি ঝড়।পজ ফ্রেমগুলি আপস্ট্রিম প্রচার করে এবং ট্র্যাফিক জমে যায় যার মূল যানজটের সাথে কিছুই করার ছিল না।
• লাইন ব্লক করার--প্রধান।মোটা অগ্রাধিকার ম্যাপিং একটি জনাকীর্ণ শ্রেণীর স্টল অন্যদের একটি সারি ভাগ করতে দেয়।
• ECN ভুল।খুব দেরী চিহ্নিত করুন এবং আপনি ড্রপ পান; খুব আক্রমণাত্মকভাবে চিহ্নিত করুন এবং আপনি অপ্রয়োজনীয়ভাবে থ্রুপুট থ্রোটল করেন।
• মাইক্রোবার্স্ট কনজেশন।সাব-সেকেন্ড বার্স্ট ওভারফ্লো বাফারগুলি কিন্তু এক-সেকেন্ড রেজোলিউশনে নমুনাগুলি পর্যবেক্ষণ করতে অদৃশ্য থাকুন৷
• অসামঞ্জস্যপূর্ণ কনফিগারেশন।পাতা এবং মেরুদণ্ড জুড়ে অমিল সেটিংস স্থানীয় থাকার পরিবর্তে যানজট ছড়িয়ে দেয়।

এইগুলির কোনটিই RoCE এড়ানোর কারণ নয়। এগুলি হল লসলেস ফ্যাব্রিককে সুসংগতভাবে শেষ থেকে শেষ পর্যন্ত ডিজাইন করার এবং স্কেল করার আগে সূক্ষ্ম-দানাযুক্ত, মাইক্রোবার্স্ট-সচেতন টেলিমেট্রিতে বিনিয়োগ করার কারণ।

যখন ইনফিনিব্যান্ড এটি মূল্যবান, এবং যখন আপনি অতিরিক্ত ক্রয় করছেন

InfiniBand কঠোর p99 এবং p999 টার্গেট, শক্তভাবে সংযুক্ত মাল্টি-নোড সার্ভিং, এবং মিশন-গুরুত্বপূর্ণ কাজের চাপ যেখানে SLA শাস্তি বেশি, বিশেষ করে ফ্যাব্রিকের চারপাশে ডিজাইন করা একটি ডেডিকেটেড GPU ক্লাস্টারের জন্য এর প্রিমিয়ামের মূল্য। যখন অনুমান একটি নোডের মধ্যে থাকে, যখন কাজটি থ্রুপুট-অরিয়েন্টেড ব্যাচ হয়, যখন স্টোরেজ, ম্যানেজমেন্ট, এবং মাল্টি-টেন্যান্ট ক্লাউড ট্রাফিক বহন করার জন্য একই ফ্যাব্রিকের প্রয়োজন হয়, অথবা যখন ইনফিনিব্যান্ড ভালভাবে চালানোর জন্য আপনার কার্যক্ষম ক্ষমতার অভাব হয় তখন আপনি সম্ভবত অতিরিক্ত ক্রয় করছেন।

যে খরচগুলি সুইচের উদ্ধৃতিতে প্রদর্শিত হয় না তা বাস্তব: ইকোসিস্টেম ঘনত্ব, আপনার ইথারনেট নেটওয়ার্কের সাথে সমান্তরালে একটি দ্বিতীয় ফ্যাব্রিক চালানোর ওভারহেড এবং অতিরিক্ত জিনিসপত্র, অপটিক্স এবং পর্যবেক্ষণের জন্য আলাদা পরিকল্পনা৷

আপনি চয়ন করার আগে কিভাবে InfiniBand বনাম RoCE পরীক্ষা করবেন

প্রোটোকল খ্যাতি বা একটি বিশেষ শীট সম্পর্কে সিদ্ধান্ত নেবেন না। উৎপাদনের সাথে সাদৃশ্যপূর্ণ একটি বেঞ্চমার্কের বিষয়ে সিদ্ধান্ত নিন। একটি ব্যবহারিক ক্রম:

• লেজে SLA সংজ্ঞায়িত করুন।সময়ের জন্য p50, p95, p99, এবং p999 সেট করুন--প্রথম-টোকেন এবং ইন্টার-টোকেন লেটেন্সি, শুধু একটি গড় নয়।
• বাস্তবসম্মত ট্রাফিক রিপ্লে করুন।একটি একক পরিচ্ছন্ন প্রবাহের পরিবর্তে বার্স্টি, মিশ্র মডেলের আকার এবং মাল্টি- টেন্যান্ট কনকারেন্সি ব্যবহার করুন৷
• যানজট লোড.ফ্যাব্রিকটি প্রকৃতপক্ষে বিতর্কিত না হওয়া পর্যন্ত চাপ দিন, তারপর GPU ব্যবহার পরিমাপ করুন। যদি নেটওয়ার্কে GPU গুলি বন্ধ হয়ে যায়, ফ্যাব্রিকটি আপনার বাধা।
• সঠিক কাউন্টার দেখুন.ট্র্যাক পজ ফ্রেম, ECN চিহ্ন, প্যাকেট ড্রপ, রিট্রান্সমিশন, পোর্ট এরর কাউন্টার, এবং, 400G এবং 800G এ, FEC এরর।
• শারীরিক স্তর যাচাই করুন.পরিষ্কার, সঠিকভাবে ইনস্টল করা ফাইবার বিষয়;সতর্ক ফাইবার ইনস্টলেশনবিরতিমূলক, কঠিন-নির্ণয় করা-ত্রুটিগুলিকে বাধা দেয় যা উচ্চ-গতির লিঙ্কগুলি প্রবণ।

যদি RoCE তার p99 টার্গেটকে বাস্তবসম্মত, বিতর্কিত, বহু-স্থিতিশীল কাউন্টার সহ ভাড়াটে লোডের অধীনে ধরে রাখে, তবে এটি একটি শক্তিশালী এবং খরচ-কার্যকর পছন্দ৷ যদি এটি শুধুমাত্র পরিচ্ছন্ন একক-স্ট্রিম পরীক্ষায় উত্তীর্ণ হয়, তবে আপনি এখনও সেই জিনিসটি পরীক্ষা করেননি যা আপনার SLA নির্ধারণ করে।

এড়ানোর জন্য সাধারণ ভুল

• অনুমান করা সমস্ত অনুমান হালকা নেটওয়ার্কিং।কিছু অনুমান সহজ এবং স্বাধীন; কিছু বিতরণ করা হয়, লেটেন্সি-সংবেদনশীল, এবং ব্যান্ডউইথ-ক্ষুধার্ত৷ এটিকে সহজ হিসাবে বিবেচনা করা আন্ডারবিল্ট অবকাঠামোর দিকে পরিচালিত করে।
• শুধুমাত্র গড় বিলম্বের তুলনা করা হচ্ছে।উৎপাদন অনুমান লেজের উপর নির্ভর করে। সর্বদা বাস্তবসম্মত ট্রাফিকের অধীনে p95, p99, এবং p999 মূল্যায়ন করুন।
• RoCE কে প্লাগ হিসেবে ব্যবহার করা-এবং-ইথারনেট খেলুন।উচ্চ-পারফরম্যান্স RoCE-এর জন্য ইচ্ছাকৃত ক্ষতিহীন-ফ্যাব্রিক ডিজাইন, কনজেশন কন্ট্রোল এবং ক্রমাগত পর্যবেক্ষণের প্রয়োজন।
• InfiniBand বেছে নেওয়া হচ্ছে শুধুমাত্র কারণ এটি দ্রুততর।সর্বোত্তম কর্মক্ষমতা বিকল্প সর্বদা সর্বোত্তম ব্যবসায়িক বিকল্প নয়। যদি কাজের চাপের জন্য নির্ধারক আচরণের প্রয়োজন না হয়, তাহলে RoCE আরও ভাল মূল্য দিতে পারে।
• শারীরিক স্তর উপেক্ষা.400G এবং 800G-এ, কেবল, অপটিক্স, সংযোগকারী এবং ফাইবার পরিচ্ছন্নতা মাঝে মাঝে ত্রুটি তৈরি করে যা খুঁজে পাওয়া কঠিন এবং ঠিক করা ব্যয়বহুল।

নিচের লাইন

AI অনুমানের জন্য, InfiniBand এবং RoCE উভয়ই বৈধ, এবং তারা বিভিন্ন অগ্রাধিকার প্রদান করে। যখন আপনার বাস্তব-সময়, SLA-সংবেদনশীল, বা শক্তভাবে মিলিত অনুমানের জন্য সবচেয়ে সামঞ্জস্যপূর্ণ কম-লেটেন্সি নেটওয়ার্কের প্রয়োজন হয় তখন InfiniBand বেছে নিন। যখন আপনার একটি মাপযোগ্য, ইথারনেট-ভিত্তিক, খরচ-ব্যাচ অনুমানের জন্য দক্ষ ফ্যাব্রিক, মাল্টি-ভাড়াদার GPU পরিষেবা, RAG কাজের চাপ এবং নমনীয় পরিকাঠামোর প্রয়োজন হবে তখন RoCE চয়ন করুন৷

সিদ্ধান্তটি কাজের চাপ, লেটেন্সি টার্গেট, ক্লাস্টার স্কেল, আপনার অপারেশন ক্ষমতা এবং আপগ্রেড রোডম্যাপ দিয়ে শুরু হওয়া উচিত, প্রোটোকল দিয়ে নয়। যদি আপনার ক্লাস্টারকে ভারী লোডের মধ্যে একটি কঠোর p99 ধরে রাখতে হয়, InfiniBand গুরুতর বিবেচনার দাবি রাখে। যদি আপনার লক্ষ্য একটি ইথারনেট ডেটা সেন্টার জুড়ে অর্থনৈতিকভাবে অনুমান স্কেল করা হয়, তাহলে RoCE সাধারণত আরও ব্যবহারিক পথ। যেভাবেই হোক, উৎপাদনের অধীনে বেঞ্চমার্ক-যেমন আপনি প্রতিশ্রুতি দেওয়ার আগে লোড করুন৷