September 1, 2020

গ্রাহকদের কাছে এআই সুপার কমপুটিং আনছে | Azure ব্লগ এবং আপডেট

গ্রাহকদের কাছে এআই সুপার কমপুটিং আনছে | Azure ব্লগ এবং আপডেট

বিপুল সংখ্যক টাস্ককে পাওয়ার জন্য বিশাল এআই মডেলগুলির ব্যবহারের প্রবণতাটি কীভাবে এআই তৈরি করা হচ্ছে তা পরিবর্তন করছে। মাইক্রোসফ্ট বিল্ড 2020 এ আমরা স্কুলে এআইয়ের জন্য আমাদের দৃষ্টিভঙ্গিটি আজুরের অত্যাধুনিক এআই সুপার কমপুটিং ব্যবহার করে এবং পরের প্রজন্মের এআই সক্ষম করার জন্য একটি নতুন শ্রেণির বৃহত আকারের এআই মডেল ভাগ করেছি। বৃহত আকারের মডেলগুলির সুবিধা হ’ল এআই সুপার কমপুটিং ব্যবহার করে তাদের কেবল একবার প্রচুর পরিমাণে ডেটা দিয়ে প্রশিক্ষণ নেওয়া দরকার, তাদেরকে আরও ছোট ডেটাসেট এবং সংস্থান সহ বিভিন্ন টাস্ক এবং ডোমেনগুলির জন্য “সূক্ষ্ম-সুরক্ষিত” করতে সক্ষম করে তোলা। কোনও মডেল যত বেশি প্যারামিটার রয়েছে ততই তাত্পর্যপূর্ণ উপাত্তের ধারণাগুলি ক্যাপচার করতে পারে, যেমনটি আমাদের 17-বিলিয়ন-প্যারামিটার টুরিং ন্যাচারাল ল্যাঙ্গুয়েজ জেনারেশন (টি-এনএলজি) মডেল এবং এর থেকে প্রশ্নগুলির উত্তর দেওয়ার ভাষা বোঝার দক্ষতা দ্বারা প্রমাণিত প্রথমবার দেখা দস্তাবেজের সংক্ষিপ্তসার। এর মতো প্রাকৃতিক ভাষার মডেলগুলি, এক বছর আগে অত্যাধুনিক মডেলের চেয়ে উল্লেখযোগ্য পরিমাণে বড় এবং পূর্ববর্তী চিত্রকেন্দ্রিক মডেলের আকারের অনেকগুলি অর্ডার, এখন বিং, ওয়ার্ড, আউটলুক, এবং ডায়নামিক্স।

এই স্কেলটিতে প্রশিক্ষণ মডেলগুলির জন্য মেশিনের অভ্যন্তরে এবং জুড়ে উচ্চ-ব্যান্ডউইথ নেটওয়ার্ক দ্বারা সংযুক্ত বিশেষায়িত এআই এক্সিলারস সহ শত শত মেশিনের বৃহত ক্লাস্টারগুলির প্রয়োজন। আমরা মাইক্রোসফ্ট পণ্য জুড়ে নতুন প্রাকৃতিক ভাষা উত্পাদন এবং বোঝার ক্ষমতা সক্ষম করতে এবং নিরাপদ কৃত্রিম সাধারণ বুদ্ধিমত্তা তৈরির লক্ষ্যে ওপেনএআইআইকে শক্তি প্রদানের জন্য আউজুরে এ জাতীয় ক্লাস্টারগুলি তৈরি করেছি। আমাদের সর্বশেষ ক্লাস্টারগুলি এত সংহত গণনা শক্তি সরবরাহ করে যে তারা এআই সুপার কম্পিউটার হিসাবে পরিচিত হয়, ওপেনএআইএর জন্য নির্মিত এটি বিশ্বের শীর্ষ পাঁচটি প্রকাশ্যে প্রকাশিত সুপার কম্পিউটারগুলিতে পৌঁছেছে। এই সুপার কম্পিউটারটি ব্যবহার করে ওপেনএআইআই তাদের মে 175-বিলিয়ন-প্যারামিটার জিপিটি -3 মডেল এবং কবিতা বা অনুবাদ রচনা সহ বিশেষত প্রশিক্ষণপ্রাপ্ত নয় এমন বিস্তৃত কার্যগুলির সমর্থনের দক্ষতার উন্মোচন করেছিল।

এটি পরিচালনা করার জন্য আমরা বড় আকারের কম্পিউট ক্লাস্টার, নেতৃস্থানীয় নেটওয়ার্ক ডিজাইন এবং সফটওয়্যার স্ট্যাক সহ অ্যাজুরে মেশিন লার্নিং, ওএনএনএক্স রানটাইম, এবং অন্যান্য অ্যাজুরি এআই পরিষেবাগুলিতে যে কাজটি করেছি তা স্কেল কৌশলটিতে সরাসরি আমাদের এআইয়ের সাথে সংযুক্ত করা হয়েছে। এই প্রক্রিয়াটির মাধ্যমে উত্সাহিত উদ্ভাবন চূড়ান্তভাবে আমাদের সমস্ত গ্রাহকের এআই প্রয়োজনীয়তাগুলি সমর্থন করে না কেন, তাদের স্কেল নির্বিশেষে অজুরেকে আরও ভাল করে তুলছে। উদাহরণস্বরূপ, এনডিভি 2 ভিএম সিরিজের সাথে, অ্যাজুরে হ’ল এনভিআইডিআইএর ভি 100 টেনসর কোর জিপিইউ সহ ভিএমগুলির প্রথম এবং একমাত্র পাবলিক ক্লাউড সরবরাহকারী ক্লাস্টার, উচ্চ-ব্যান্ডউইথ লো-লেটেন্সি এনভিআইডিআইএ মেলানক্স ইনফিনিব্যান্ড নেটওয়ার্কিং দ্বারা সংযুক্ত। একটি উত্তম উপমাটি হ’ল কীভাবে স্বয়ংচালিত প্রযুক্তি উচ্চ-শেষের রেসিং শিল্পে অগ্রণী হয় এবং তারপরে আমরা প্রতিদিন যে গাড়িগুলি চালিত করি সেগুলিতে প্রবেশ করে।

অভূতপূর্ব স্কেল সহ নতুন সীমান্ত

“সাধারণ বুদ্ধিমত্তার দিকে এআইকে অগ্রসর করার জন্য আংশিকভাবে এমন শক্তিশালী সিস্টেমের প্রয়োজন যা আরও বেশি সক্ষম মডেলদের প্রশিক্ষণ দিতে পারে। প্রয়োজনীয় কম্পিউটিং সক্ষমতা সাম্প্রতিককাল পর্যন্ত সম্ভব ছিল না। অ্যাজুরে এআই এবং এর সুপার কমপুটিং ক্ষমতা আমাদের অগ্রণী সিস্টেমগুলি সরবরাহ করে যা আমাদের অগ্রগতি ত্বরান্বিত করতে সহায়তা করে ” – স্যাম আল্টম্যান, ওপেনএআইইওর প্রধান নির্বাহী কর্মকর্তা

আমাদের আজুর উদ্ভাবনের ধারাবাহিকতায়, আমরা নতুন এনডি এ 100 ভি 4 ভিএম সিরিজটি ঘোষণা করতে পেরে উত্সাহিত, আমাদের সবচেয়ে শক্তিশালী এবং ব্যাপক আকারে পরিমাপযোগ্য এআই ভিএম, আট-থেকে পাওয়া, কয়েক হাজার ভিএম জুড়ে হাজার হাজার আন্তঃসংযুক্ত এনভিআইডিআইএ জিপিইউগুলিতে।

এনডি এ 100 ভি 4 ভিএম সিরিজটি একটি একক ভার্চুয়াল মেশিন (ভিএম) এবং আটটি এনভিআইডিএ অ্যাম্পিয়ার এ 100 টেনসর কোর জিপিইউ দিয়ে শুরু হয়, তবে মানুষের মস্তিষ্ক যেমন আন্তঃসংযুক্ত নিউরন দ্বারা গঠিত, আমাদের এনডি এ 100 ভি 4-ভিত্তিক ক্লাস্টার হাজার হাজার জিপিইউ পর্যন্ত স্কেল করতে পারে ভিএম প্রতি আন্তঃসংযোগ ব্যান্ডউইথের একটি অভূতপূর্ব 1.6 টিবি / গুলি সহ প্রতিটি জিপিইউতে তার নিজস্ব উত্সর্গীকৃত টপোলজি-অজোনস্টিক 200 জিবি / এস এনভিআইডিএ মেলানক্স এইচডিআর ইনফিনিব্যান্ড সংযোগ সরবরাহ করা হয়। দশ, শত, বা কয়েক হাজার জিপিইউ এআই উচ্চাকাঙ্ক্ষার যে কোনও স্তর অর্জনের জন্য মেল্লানাক্স ইনফিনিব্যান্ড এইচডিআর ক্লাস্টারের অংশ হিসাবে একসাথে কাজ করতে পারে। যে কোনও এআই লক্ষ্য (স্ক্র্যাচ থেকে কোনও মডেলকে প্রশিক্ষণ দেওয়া, নিজের ডেটা দিয়ে তার প্রশিক্ষণ অব্যাহত রাখা, বা এটি আপনার পছন্দসই কাজগুলির জন্য সূক্ষ্ম সুরকরণ) যে কোনও পাবলিক মেঘের প্রস্তাবের চেয়ে উত্সর্গীকৃত জিপিইউ-থেকে-জিপিইউ ব্যান্ডউইথ 16x উচ্চতর দিয়ে অর্জন করা হবে।

এনডি এ 100 ভি 4 ভিএম সিরিজটি সমস্ত নতুন সিস্টেমের উপাদানগুলিতে তৈরি পিসিআই জেন 4 এর মতো সর্বশেষতম হার্ডওয়্যার স্ট্যান্ডার্ড সহ একটি নতুন-নতুন অ্যাজুর-ইঞ্জিনিয়ারড এএমডি রোম চালিত প্ল্যাটফর্ম দ্বারা সমর্থিত। প্রতিটি ভিএম এর মধ্যে দ্রুততম জিপিইউ-জিপিইউ আন্তঃসংযোগের জন্য পিসিআই জেনারেল 4 এবং এনভিআইডিআইএর তৃতীয় প্রজন্মের NVLINK আর্কিটেকচারটি সিস্টেমের মাধ্যমে ডেটাটিকে আগের চেয়ে 2x এর চেয়ে দ্রুত গতিতে রাখে।

বেশিরভাগ গ্রাহকরা ইঞ্জিনিয়ারিংয়ের কোনও কাজ ছাড়াই এনভিআইডিএ ভি 100 জিপিইউয়ের উপর ভিত্তি করে আগের প্রজন্মের সিস্টেমগুলির তুলনায় 2x থেকে 3x গুনে পারফরম্যান্সের তাত্ক্ষণিক উন্নতি দেখতে পাবেন। স্পারসিটি এক্সিলারেশন এবং মাল্টি-ইনস্ট্যান্সস জিপিইউ (এমআইজি) সহ মাল্টি-প্রিসিশন টেনসর কোরগুলির মতো নতুন এ 100 বৈশিষ্ট্যগুলি উপার্জনকারী গ্রাহকরা 20x অবধি উন্নীত করতে পারবেন।

“এনভিআইডিআইএর সর্বাধিক উন্নত গণনা এবং নেটওয়ার্কিং ক্ষমতা অর্জন করে আউজুর ক্লাউডে স্কেলের এআইয়ের জন্য একটি অবিশ্বাস্য প্ল্যাটফর্মটি তৈরি করেছেন। একটি এনভিআইডিআইএ এ 100 জিপিইউর একক পার্টিশন থেকে হাজার হাজার এ 100 জিপিইউতে এনভিআইডিআইএ মেলানক্স ইনফিনিব্যান্ড আন্তঃসংযোগগুলি সহ একটি ইলাস্টিক আর্কিটেকচারের মাধ্যমে, অ্যাজুরে গ্রাহকরা বিশ্বের সর্বাধিক চাহিদাযুক্ত এআই কাজের চাপ চালাতে সক্ষম হবেন। ” – আয়ান বাক, জেনারেল ম্যানেজার এবং এনভিআইডিআইএর এক্সিলারেটেড কম্পিউটিংয়ের ভাইস প্রেসিডেন্ট

এনডি এ 100 ভি 4 ভিএম সিরিজটি স্বয়ংক্রিয়ভাবে এবং গতিশীল কোনও আকারের ক্লাস্টারগুলি স্বচ্ছভাবে কনফিগার করতে ভিএম স্কেল সেটের মতো অ্যাজুরি কোর স্কেলাবিলিটি ব্লকগুলি সরবরাহ করে। এটি যে কাউকে, যে কোনও জায়গায়, যে কোনও স্কেল এআই অর্জন করতে অনুমতি দেবে, এমনকি এআই সুপার কম্পিউটারটিকে কয়েক মিনিটের মধ্যে অন-ডিমান্ড ইনস্ট্যান্ট করে তুলবে। এরপরে আপনি স্বাধীনভাবে ভিএমগুলিতে অ্যাক্সেস করতে পারেন বা আউজুর মেশিন লার্নিং পরিষেবাটি ব্যবহার করে ক্লাস্টার জুড়ে প্রশিক্ষণ কর্ম চালু করতে এবং পরিচালনা করতে পারেন।

এনডি এ 100 ভি 4 ভিএম সিরিজ এবং ক্লাস্টারগুলি এখন পূর্বরূপে রয়েছে এবং আউুরে পোর্টফোলিওতে এটি একটি স্ট্যান্ডার্ড অফার হয়ে উঠবে, যার ফলে ক্লাউডের স্কেলে এআই এর সম্ভাব্যতা আনলক করতে দেওয়া হবে। আরও তথ্যের জন্য দয়া করে আপনার স্থানীয় মাইক্রোসফ্ট অ্যাকাউন্ট টিমের সাথে যোগাযোগ করুন।