PagedAttention، رمزگشایی حدسی، MoE و Blackwell

استقرار مدرن هوش مصنوعی برای سرویسدهی پرسرعت و کمهزینه مدلهای عظیم به موتورهای سرویسدهی با حافظه مجازی، مسیریابی خبرههای تُنُک و دقت سختافزاری زیر بایت تکیه دارد. این سه فناوری پیشروی زیرساخت LLM در محیط تولید را نشان میدهند.
1. بهینهسازیهای سرویسدهی استنتاج LLM: PagedAttention & رمزگشایی حدسی
هنگام تولید متن، یک LLM تانسورهای کلید (K) و مقدار (V) هر توکن قبلی را در VRAM نگه میدارد تا لازم نباشد در هر گام دوباره آنها را محاسبه کند. مدیریت این KV Cache و غلبه بر گلوگاه ترتیبی تولید توکنبهتوکن، دو چالش بزرگ سرویسدهی استنتاجاند.
- PagedAttention (vLLM) – حافظه مجازی برای KV Cache.
- مسئله تکهتکهشدگی. در گذشته موتورهای استنتاج برای هر درخواست یک قطعه پیوسته از VRAM را بر اساس بیشینه طول دنباله ممکن مدل (مثلاً 32,768 توکن) از پیش تخصیص میدادند. اگر کاربر فقط 200 توکن تولید میکرد، بیش از 99% از آن VRAM رزروشده خالی میماند و 60% تا 80% حافظه GPU از طریق تکهتکهشدگی داخلی و خارجی هدر میرفت.
- صفحهبندی به سبک سیستمعامل. PagedAttention با الهام از حافظه مجازی سیستمعامل، KV cache هر دنباله را به بلوکهای کوچک با اندازه ثابت (مثلاً 16 توکن در هر بلوک) تقسیم میکند که میتوانند بهصورت ناپیوسته در هر جای VRAM فیزیکی قرار گیرند. یک جدول بلوک سبک، بلوکهای منطقی توکن را بهصورت لحظهای درون کرنل توجه به آدرسهای فیزیکی حافظه GPU نگاشت میکند.
- اشتراک حافظه (Copy-on-Write). از آنجا که بلوکها جدا از هماند، چند درخواستی که پرامپت سیستمی یکسان دارند یا تکمیلهای موازی تولید میکنند (مانند جستجوی پرتو beam search) به همان بلوکهای فیزیکی KV در VRAM اشاره میکنند؛ این کار مصرف حافظه را بهشدت کاهش میدهد و اندازههای دسته بسیار بزرگتر را ممکن میسازد.
- رمزگشایی حدسی – شکستن گلوگاه ترتیبی.
- چرا تولید خودبازگشتی کند است. تولید 100 توکن به 100 گذر روبهجلوی متوالی نیاز دارد. چون هر گذر فقط یک توکن جدید را پردازش میکند، GPU بیشتر زمانش را صرف خواندن وزنهای مدل از VRAM میکند و Tensor Coreهایش تقریباً بیکار میمانند.
- خط لوله پیشنویس-و-راستیآزمایی. رمزگشایی حدسی مدل هدف عظیم (مثلاً 70B پارامتر) را با یک مدل پیشنویس کوچک و فوقسریع (مثلاً 1B–3B پارامتر، یا سرهای پیشبینی سبک مانند Medusa / EAGLE) جفت میکند.
- راستیآزمایی موازی. مدل پیشنویس کوچک بهسرعت K توکن بعدی (مثلاً 5 توکن) را بهصورت ترتیبی حدس میزند. سپس مدل هدف عظیم هر 5 توکن حدسزدهشده را همزمان در یک گذر روبهجلوی موازی پردازش میکند و احتمالاتشان را بررسی میکند. چون راستیآزمایی 5 توکن بهصورت موازی تقریباً دقیقاً بهاندازه تولید 1 توکن زمان میبرد، سامانه همه توکنهای منطبق را یکجا میپذیرد—و تولید را 2× تا 3× سریعتر میکند، با کیفیت خروجی که از نظر ریاضی یکسان است.
2. ترکیب خبرگان (MoE) & موازیسازی خبره
مدلهای چگال برای هر توکن 100% پارامترهایشان را فعال میکنند و اجرای مدلهای عظیم را بهشدت پرهزینه میسازند. معماریهای ترکیب خبرگان (MoE) دانش کل مدل را از هزینه محاسبات بهازای هر توکن جدا میکنند.
- لایههای MoE چگونه کار میکنند (Mixtral & DeepSeek).
- در یک بلوک Transformer از نوع MoE، شبکه پیشخور چگال (FFN) واحد با مجموعهای از FFNهای مستقل و کوچکتر به نام خبرهها (Experts) جایگزین میشود (مثلاً 8 خبره در Mixtral 8x7B، یا 256 خبره ریزدانه در DeepSeek-V3).
- یک مسیریاب سبک آموختهشده (شبکه دروازه) هر توکن ورودی را بررسی میکند و آن را فقط به K خبره مرتبطتر هدایت میکند (معمولاً 2 تا 8 خبره). ممکن است مدلی بیش از 600B پارامتر کل را در حافظه نگه دارد، اما برای هر توکن فقط 37B پارامتر را فعال کند و هوش عظیم مدل را با کسری از هزینه محاسباتی به دست آورد.
- خبرههای مشترک & متعادلسازی بدون زیان کمکی. طرحهای مدرن MoE مانند DeepSeek چند خبره مشترک اختصاص میدهند که هر توکن را پردازش میکنند تا دانش بنیادی عمومی را دربر بگیرند، در حالی که خبرههای مسیریابیشده در حوزههای تخصصی ویژه میشوند. تنظیمات پویای بایاس از «فروپاشی مسیریابی» جلوگیری میکند (وضعیتی که در آن مسیریاب چند خبره محبوب را بیشازحد بارگذاری و بقیه را نادیده میگیرد).
- موازیسازی خبره (EP) میان GPUها.
- چون یک مدل MoE صدها خبره دارد، همه آنها در یک GPU جا نمیشوند. موازیسازی خبره، خبرههای مختلف را میان GPUهای مختلف توزیع میکند (مثلاً خبرههای 1–4 روی GPU 0 و خبرههای 5–8 روی GPU 1).
- ارتباط All-to-All. وقتی GPU 0 دستهای از توکنها را پردازش میکند، مسیریاب آن ممکن است برخی توکنها را به خبرههایی بسپارد که روی GPU 3 قرار دارند. بنابراین هر لایه MoE یک توزیع All-to-All اجرا میکند: حالتهای نهان توکنها را از طریق اتصالات پرسرعت NVLink/InfiniBand به هر GPU که خبره مربوطه را دارد میفرستد، FFN آن خبره را محاسبه میکند و یک گام ترکیب All-to-All دوم برای بازگرداندن نتایج انجام میدهد.
3. NVIDIA Blackwell (B200) & موتور Transformer نسل دوم (FP4)
معماری NVIDIA Blackwell (B200) که برای مقیاسدهی مدلهای استدلالی و MoE با تریلیونها پارامتر معرفی شد، هم بستهبندی چندقالبی و هم دقت عددی زیر بایت را بازطراحی کرد.
- معماری یکپارچه دوقالبی.
- یک GPU از نوع B200 تعداد 208 میلیارد ترانزیستور را در دو قالب محدود به اندازه ماسک (reticle) جای میدهد که با یک NV-HBI (High-Bandwidth Interface) با سرعت 10 TB/s به هم جوش خوردهاند. برای کرنلهای CUDA و چارچوبهای نرمافزاری، هر دو قالب مانند یک GPU یکپارچه عمل میکنند و هیچ جریمهای از بابت همدوسی حافظه نهان ندارند.
- پهنای باند حافظه HBM3e. Blackwell با 192 GB حافظه VRAM از نوع HBM3e و پهنای باند 8 TB/s (بیش از دو برابر 3.35 TB/s در H100) مستقیماً گلوگاههای پهنای باند حافظه در KV cache و بارگذاری وزنهای MoE را هدف میگیرد.
- موتور Transformer نسل دوم & NVFP4.
- در حالی که Hopper ممیز شناور 8 بیتی (FP8) را معرفی کرد، موتور Transformer نسل دوم Blackwell محاسبات Tensor Core را به ممیز شناور 4 بیتی (FP4) میرساند، توان محاسباتی خام را دوباره دو برابر میکند (تا 20 petaFLOPS محاسبات چگال FP4 برای هر GPU) و ردپای حافظه را نسبت به FP8 نصف میکند.
- حل مسئله دامنه پویای FP4 با مقیاسدهی ریزتانسوری (NVFP4). اعداد استاندارد 4 بیتی فقط 16 مقدار ممکن دارند و وقتی اعداد پرت افراطی در فعالسازیهای شبکه عصبی ظاهر شوند، معمولاً دقت را نابود میکنند. Blackwell این مشکل را در سختافزار با مقیاسدهی ریز دومرحلهای حل میکند: بهجای اعمال یک ضریب مقیاس بر یک ماتریس بزرگ، Blackwell وزنها و فعالسازیها را در بلوکهای کوچک 16 عنصری گروهبندی میکند و به هر بلوک کوچک ضریب مقیاس FP8 با دقت بالای خودش را در کنار یک مقیاس سراسری تانسور FP32 میدهد.
- کوانتیزهسازی شتابیافته با سختافزار. Transformer Engine دامنه تانسورها را لایهبهلایه و پویا بررسی میکند و مقادیر را میان FP16/BF16، FP8 و NVFP4 مستقیماً درون خط لوله Tensor Core و بدون رفتوبرگشت اضافی حافظه تبدیل میکند.