NVIDIA نقاط پایانی تسریع شده GPU را برای مدل Kimi K2.5 هوش مصنوعی Moonshot راهاندازی میکند
Jessie A Ellis 1404/11/16 20:11
NVIDIA اکنون دسترسی رایگان API تسریع شده GPU به Kimi K2.5، یک مدل هوش مصنوعی چندوجهی با 1 تریلیون پارامتر با 384 متخصص و طول زمینه 262 هزار توکن برای توسعهدهندهها ارائه میدهد.
NVIDIA نقاط پایانی تسریع شده GPU را برای Kimi K2.5 هوش مصنوعی Moonshot عرضه کرده است و به توسعهدهندهها دسترسی رایگان API به یکی از توانمندترین مدلهای چندوجهی منبع باز موجود در حال حاضر میدهد. این یکپارچهسازی که در 1404/11/16 اعلام شد، مدل 1 تریلیون پارامتری را برای پذیرش سریع سازمانی از طریق پلتفرم build.nvidia.com شرکت NVIDIA قرار میدهد.
Kimi K2.5 مشخصات فنی جدی دارد که برای استقرارهای تولید اهمیت دارند. این مدل از معماری ترکیبی متخصصان با 384 متخصص استفاده میکند و تنها 32.86 میلیارد پارامتر به ازای هر توکن را فعال میکند - نرخ فعالسازی 3.2 درصد که هزینههای استنتاج را علیرغم تعداد عظیم پارامترها قابل مدیریت نگه میدارد. طول زمینه به 262,000 توکن میرسد و تجزیه و تحلیل اسناد قابل توجه و مکالمات طولانی را مدیریت میکند.
قابلیتهای بینایی شایسته توجه هستند. Moonshot یک برج بینایی سفارشی MoonViT3d ساخته است که تصاویر و فریمهای ویدیویی را به embeddings پردازش میکند، که توسط یک واژگان 164,000 توکنی حاوی توکنهای خاص بینایی پشتیبانی میشود. این چندوجهی متصل شده نیست - بومی معماری است.
آنچه توسعهدهندهها دریافت میکنند
دسترسی رایگان نمونهسازی از طریق برنامه توسعهدهنده NVIDIA به این معنی است که تیمها میتوانند قبل از تعهد زیرساخت در برابر بارهای کاری تولید آزمایش کنند. این API از الگوهای سازگار با OpenAI پیروی میکند، از جمله پشتیبانی از فراخوانی ابزار برای گردشهای کاری عامل. میکروسرویسهای NVIDIA NIM برای استنتاج تولید کانتینری در راه هستند، اگرچه هیچ جدول زمانی مشخصی ارائه نشد.
برای استقرارهای خود میزبانی، یکپارچهسازی vLLM اکنون آماده است. NVIDIA همچنین پشتیبانی از تنظیم دقیق را از طریق چارچوب منبع باز NeMo تأیید کرد، با استفاده از NeMo AutoModel برای سفارشیسازی مدل مستقیماً از نقاط بازرسی Hugging Face بدون مراحل تبدیل.
زمینه بازار
Moonshot AI مدل Kimi K2.5 را در 1404/11/08 منتشر کرد و آن را بر روی تقریباً 15 تریلیون توکن بصری و متنی مختلط که بر روی پایه K2 قبلی ساخته شده بود، آموزش داد. این مدل مقایسههای مستقیمی با Gemini 3 Pro گوگل داشته است و معیارهای رقابتی از جمله امتیاز 78.5 درصد در آزمونهای درک بصری MMMU-Pro و 76.8 درصد در SWE-Bench Verified برای وظایف کدنویسی را ثبت کرده است.
یک ویژگی متمایز: مکانیسم "ازدحام عامل" که تا 100 عامل فرعی موازی را هماهنگ میکند و به گفته گزارشها زمان اجرا را 4.5 برابر در مقایسه با رویکردهای تک عامل کاهش میدهد. برای سازمانهایی که سیستمهای خودمختار پیچیده میسازند، این یک شکاف قابلیت معنادار است.
پشتیبانی معماری Blackwell شرکت NVIDIA نشان میدهد که این شرکت Kimi K2.5 را به عنوان یک رقیب جدی در استقرارهای هوش مصنوعی سازمانی میبیند. توسعهدهندهها میتوانند بلافاصله از طریق build.nvidia.com یا از طریق پلتفرم API Kimi مستقیماً از Moonshot به مدل دسترسی داشته باشند.
منبع تصویر: Shutterstock- nvidia
- kimi k2.5
- moonshot ai
- هوش مصنوعی چندوجهی
- محاسبات gpu
