NVIDIA Blackwell با کسب ۳.۲ برابر افزایش سرعت، رکورد معیار هوش مصنوعی مالی را درهم می‌شکند

آیریس کلمن ۱۴۰۴/۱۲/۱۴ ۱۸:۱۷

GB200 NVL72 شرکت NVIDIA رکورد جدید STAC-AI را برای استنتاج LLM در معاملات مالی تعیین می‌کند و عملکردی تا ۳.۲ برابر نسبت به معماری Hopper ارائه می‌دهد.

معماری Blackwell شرکت NVIDIA به تازگی سریع‌ترین نتایج تاریخ را در معیار STAC-AI برای استنتاج LLM مالی به ثبت رسانده است، به طوری که GB200 NVL72 بهبود عملکرد تک GPU تا ۳.۲ برابر نسبت به نسل قبلی Hopper را ارائه می‌دهد. نتایج ۱۴۰۴/۱۲/۱۴ برای شرکت‌های معاملاتی که برای استخراج آلفا از تجزیه و تحلیل داده‌های غیرساختاریافته در رقابت هستند، اهمیت دارد.

مرکز تحلیل فناوری استراتژیک، که بیش از ۱۵ سال است بارهای کاری فناوری مالی را معیارگذاری می‌کند، Blackwell را در برابر سناریوهای دنیای واقعی با استفاده از فایلینگ‌های EDGAR 10-K آزمایش کرد—گزارش‌های سالانه متراکمی که صندوق‌های کوانت برای سیگنال‌های سرمایه‌گذاری تجزیه می‌کنند. با اجرای مدل‌های Llama 3.1 متا، GB200 NVL72 به ۳۷,۴۸۰ کلمه در ثانیه در درخواست‌های مالی با طول متوسط رسید، در مقایسه با ۸,۲۳۷ WPS برای سیستم‌های دوگانه GH200.

اعداد خام داستان را می‌گویند

در مدل Llama 3.1 8B با داده‌های EDGAR4، Blackwell ۲۲۴ درخواست در ثانیه را پردازش کرد در مقابل ۵۱.۵ RPS برای Hopper—بهبود ۴.۳ برابری در سطح سیستم. این شکاف در وظایف محاسباتی سنگین‌تر گسترده‌تر شد: مدل پارامتر ۷۰B در فایلینگ‌های EDGAR5 با زمینه طولانی شاهد جهش توان عملیاتی از ۴۱.۴ WPS به ۱۵۰ WPS بود.

چه چیزی این دستاوردها را ممکن می‌سازد؟ فرمت کوانتیزاسیون جدید NVFP4 شرکت NVIDIA، انحصاری برای Blackwell، مدل‌ها را در فضاهای حافظه کوچکتر فشرده می‌کند بدون اینکه دقت را قربانی کند. Hopper کوانتیزاسیون FP8 را اجرا می‌کرد؛ جهش معماری به دقت چهار بیتی در Blackwell، دلتای توان عملیاتی را باز می‌کند.

عملکرد تعاملی برای معاملات اهمیت دارد

پردازش دسته‌ای یک چیز است. تصمیمات معاملاتی در زمان واقعی نیاز به پاسخ‌های سریع دارند. در اینجا، Blackwell زمان‌های واکنش پایین‌تر (مشابه زمان تا اولین توکن) و تأخیر بین کلمات بهتری را حفظ کرد حتی زمانی که به سمت حداکثر توان عملیاتی فشار داده شد. در سطوح استفاده تطبیق‌یافته، GB200 NVL72 به طور مداوم GH200 را در معیارهای پاسخگویی در اکثر سناریوهای آزمایش شکست داد.

برای میزهای معاملاتی که تجزیه و تحلیل احساسات را در تماس‌های درآمد اجرا می‌کنند یا اخبار فوری را تجزیه می‌کنند، این مزیت تأخیر مستقیماً به تصمیم‌گیری سریع‌تر ترجمه می‌شود. این معیار به صراحت خط لوله استنتاج کامل از جمله توکن‌سازی را آزمایش کرد—کاری که استقرارهای واقعی نمی‌توانند از آن بگذرند.

زمینه بازار

سهام NVIDIA در ۱۴۰۴/۱۲/۱۴ با قیمت ۱۸۱.۴۱ دلار معامله شد، با ۱.۱٪ افزایش در روز، با ارزش بازار شرکت در ۴.۴۲ تریلیون دلار. معماری Blackwell، که در GTC 2024 اعلام شد، به طور خاص برای بارهای کاری هوش مصنوعی مولد طراحی شده است. مدیرعامل جنسن هوانگ آن را به عنوان نیروی محرک "یک انقلاب صنعتی جدید" معرفی کرد، و این نتایج معیار شواهد ملموسی برای این ادعا در بخش مالی فراهم می‌کنند.

سوپرتراشه GB200 Grace Blackwell دو GPU B200 را با یک CPU Grace ترکیب می‌کند، با هسته‌های AI Tensor بازطراحی‌شده و NVLink نسل پنجم برای مقیاس‌گذاری تا ۵۷۶ GPU. نتایج MLPerf قبلی دستاوردهای آموزشی ۲.۲ برابری را در Llama 3.1 405B نشان داد؛ این اعداد STAC-AI تأیید می‌کنند که مزایای مشابه به استنتاج گسترش می‌یابد.

Hopper هنوز مرتبط است

شایان ذکر است: معماری سه ساله Hopper اعداد قابل احترامی را به ثبت رساند. شرکت‌های معاملاتی با استقرارهای موجود GH200 یک شبه منسوخ نمی‌شوند. اما برای ساخت‌های جدید یا شرکت‌هایی که سرعت استنتاج مستقیماً بر بازده تأثیر می‌گذارد، اقتصاد Blackwell قانع‌کننده به نظر می‌رسد—NVIDIA ادعا می‌کند تا ۲۵ برابر کاهش در هزینه‌های عملیاتی استنتاج LLM در مقایسه با نسل‌های قبلی.

گزارش‌های کامل STAC، از جمله معیارهای دقیق حالت تعاملی در نرخ‌های ورود مختلف، از طریق کانال‌های رسمی STAC در دسترس هستند. مؤسسات مالی که ارتقاهای زیرساخت هوش مصنوعی را ارزیابی می‌کنند اکنون داده‌های شخص ثالث حسابرسی‌شده برای اطلاع‌رسانی تصمیمات تدارکات دارند.

• nvidia
• blackwell
• استنتاج هوش مصنوعی
• معاملات مالی
• llm