مقیاسپذیری FlashAttention، آموزش چند GPU و کوانتیزهسازی وزنها

زیرساخت مدرن هوش مصنوعی برای آموزش و سرویسدهی کارآمد مدلهای عظیم به کرنلهای توجه آگاه از سختافزار، موازیسازی توزیعشده چند GPU و کوانتیزهسازی کمبیت تکیه دارد. این سه تکنیک فاصله میان مقیاس نظری مدل و محدودیتهای فیزیکی GPU را پر میکنند.
1. FlashAttention-2 و FlashAttention-3 روی GPUهای Hopper (H100)
FlashAttention اصلی گلوگاه پهنای باند حافظه را حل کرد، اما همچنان بخش قابلتوجهی از توان محاسباتی خام GPUهای مدرن را بلااستفاده میگذاشت. FlashAttention-2 (2023) و FlashAttention-3 (2024) شیوه هماهنگی رشتههای GPU و موتورهای سختافزاری را بازطراحی کردند.
- FlashAttention-2 (تقسیم بهتر کار).
- کاهش عملیات غیرضربماتریسی. هستههای Tensor Core در GPU ضرب ماتریسها (matmul) را تقریباً 16× سریعتر از اجرای عملیات اسکالر مانند بازمقیاسدهی Softmax توسط هستههای CUDA معمولی انجام میدهند. FlashAttention-2 ریاضیات Softmax برخط را طوری بازنویسی کرد که بازمقیاسدهی تا انتهای حلقه درونی به تعویق بیفتد و دستورهای کند غیر matmul کاهش یابند.
- موازیسازی روی طول دنباله. نسخه اصلی کار را عمدتاً روی اندازه دسته و سرهای توجه موازی میکرد و هنگام آموزش با دنبالههای بلند و دستههای کوچک، هستههای GPU بیکار میماندند. FlashAttention-2 موازیسازی روی بُعد طول دنباله را اضافه میکند و ترتیب حلقهها را برعکس میکند (حلقه بیرونی روی بلوکهای Q، حلقه درونی روی K و V) تا نوشتنهای کند در حافظه مشترک کمینه شود.
- FlashAttention-3 (بهرهبرداری از سختافزار Hopper H100).
- جابهجایی ناهمگام داده (TMA). معماری Hopper شرکت NVIDIA شتابدهنده حافظه تانسور (TMA) را معرفی کرد؛ واحدی سختافزاری و اختصاصی که داده را بین HBM سراسری و SRAM روی تراشه کپی میکند، بدون آنکه رشتههای محاسباتی را درگیر کند.
- تخصصیسازی warp (مدل تولیدکننده-مصرفکننده). FlashAttention-3 warpهای GPU (گروههای 32 رشتهای) را به نقشهای اختصاصی تقسیم میکند. warpهای تولیدکننده با TMA کاشیهای آینده K و V را پیشواکشی و در SRAM قرار میدهند، در حالی که warpهای مصرفکننده کاشیهای جاری را به Tensor Coreها میدهند (دستورهای WGMMA). این کار انتقال حافظه را با ریاضیات ماتریسی و محاسبات Softmax همزمان همپوشانی میدهد.
- پشتیبانی از دقت پایین FP8. FlashAttention-3 هستههای Tensor Core با FP8 در Hopper را فعال میکند و توان عملیاتی خام را نسبت به FP16 دو برابر میکند. برای جلوگیری از افت دقت ناشی از فعالسازیهای پرت در FP8، از کوانتیزهسازی بلوکی (مقیاسدهی مستقل کاشیهای کوچک) و پردازش ناهمدوس (ضرب Q و K در ماتریسهای متعامد تصادفی برای هموار کردن مقادیر افراطی پیش از کوانتیزهسازی) استفاده میکند.
2. راهبردهای مقیاسدهی چند GPU (3D Parallelism)
وقتی مدلی دهها یا صدها میلیارد پارامتر دارد، وزنها، گرادیانها و حالتهای بهینهساز از VRAM یک GPU فراتر میروند. آموزش در مقیاس بزرگ سه راهبرد موازیسازی متمایز را ترکیب میکند که اغلب موازیسازی سهبعدی (3D Parallelism) نامیده میشود.
| راهبرد | چگونه کار را تقسیم میکند | گلوگاه ارتباطی | بهترین کاربرد |
|---|---|---|---|
| موازیسازی داده (DP / FSDP) | مدل را روی GPUها تکثیر میکند؛ هر GPU دستهای متفاوت از داده را پردازش میکند. | All-Reduce / All-Gather گرادیانها و وزنهای شاردشده میان GPUها. | مقیاسدهی توان عملیاتی آموزش روی صدها GPU وقتی لایهها در یک دستگاه جا میشوند. |
| موازیسازی تانسور (TP) | ماتریسهای وزن منفرد (لایهها) را بهصورت عمودی یا افقی میان GPUها تقسیم میکند. | All-Reduce پس از هر لایه Transformer (نیازمند NVLink فوقسریع). | لایههای عظیمی که در یک GPU جا نمیشوند و صرفاً درون یک گره سرور 8-GPU نگه داشته میشوند. |
| موازیسازی خط لوله (PP) | مدل را بر اساس عمق تقسیم میکند و گروههای متوالی لایهها را روی GPUهای مختلف قرار میدهد. | انتقالهای نقطهبهنقطه (P2P) فعالسازیها میان مراحل خط لوله. | مقیاسدهی روی چند گره سرور که با شبکههای کندتر InfiniBand/Ethernet به هم متصلاند. |
- موازیسازی داده & ZeRO / FSDP. در موازیسازی داده استاندارد، هر GPU یک نسخه کامل از مدل را نگه میدارد و حافظه هدر میرود. چارچوبهای مدرن از ZeRO (Zero Redundancy Optimizer) یا PyTorch FSDP (Fully Sharded Data Parallel) استفاده میکنند که پارامترها، گرادیانها و حالتهای بهینهساز را میان همه GPUها شارد میکند و وزنهای هر لایه را درست بههنگام محاسبه گرد هم میآورد.
- موازیسازی تانسور (درونلایهای). بهجای تکثیر ضرب ماتریسی عظیم پیشخور Y = XW، موازیسازی تانسور W را ستونبهستون میان GPUها تقسیم میکند (W = [W_1, W_2]). هر GPU نیمی از خروجی را همزمان محاسبه میکند و نتایج جزئی را از طریق NVLink پرسرعت (900 GB/s روی H100) رد و بدل میکند.
- موازیسازی خط لوله (میانلایهای). لایههای 1–8 روی GPU 1، لایههای 9–16 روی GPU 2 و به همین ترتیب قرار میگیرند. برای جلوگیری از بیکار ماندن GPUهای پاییندست در انتظار پایان لایههای قبلی («حباب خط لوله»)، چارچوبها هر دسته آموزشی را به ریزدستههای کوچکتر برش میدهند تا همه GPUها به شیوه خط مونتاژ مشغول بمانند.
3. کوانتیزهسازی (GPTQ، AWQ) و کرنلهای واکوانتیزهسازی لحظهای
در استنتاج (تولید توکنها یکییکی)، مدلهای زبانی بزرگ محدود به پهنای باند حافظهاند، نه محدود به محاسبات. بارگذاری 70 میلیارد پارامتر 16 بیتی (140 GB) از VRAM فقط برای تولید یک توکن، Tensor Coreها را در انتظار انتقال حافظه نگه میدارد. کوانتیزهسازی وزنها را از اعداد اعشاری 16 بیتی به اعداد صحیح 4 بیتی (INT4) فشرده میکند و اندازه حافظه و زمان انتقال را تقریباً 4× کاهش میدهد.
- GPTQ (کوانتیزهسازی پس از آموزش با واسنجی Hessian).
- گرد کردن ساده وزنهای 16 بیتی به اعداد صحیح 4 بیتی دقت مدل را نابود میکند. GPTQ یک مجموعهداده واسنجی کوچک را از مدل عبور میدهد و با ریاضیات مرتبه دوم (ماتریس معکوس Hessian) حساسیت هر وزن را میسنجد.
- وزنها را ستونبهستون کوانتیزه میکند؛ هرگاه گرد کردن یک وزن خطا ایجاد کند، GPTQ وزنهای کوانتیزهنشده باقیمانده در آن سطر را بهصورت ریاضی تنظیم میکند تا خطا خنثی شود.
- AWQ (کوانتیزهسازی وزن آگاه از فعالسازی).
- پژوهشگران دریافتند که حدود 0.1% تا 1% از کانالهای وزن بسیار مهمتر از بقیهاند، زیرا در مقادیر فعالسازی بزرگ ضرب میشوند.
- AWQ بهجای نگه داشتن این وزنهای حیاتی در 16 بیت (که چیدمانهای حافظه مخلوطدقت درهم و کند ایجاد میکند)، آن کانالهای وزن برجسته را پیش از کوانتیزهسازی بزرگتر میکند و فعالسازیهای ورودی متناظر را هنگام اجرا کوچکتر میکند؛ بدین ترتیب دقت حفظ میشود و 100% وزنها در قالب یکنواخت 4 بیتی میمانند.
- چگونه کرنلهای سفارشی CUDA بهصورت لحظهای واکوانتیزه میکنند (W4A16).
- GPUها نمیتوانند مستقیماً یک فعالسازی 16 بیتی (FP16) را در یک وزن صحیح 4 بیتی (INT4) ضرب کنند. در عوض، کرنلهای استنتاج تخصصی (مانند Marlin یا ExLlama) اجرای W4A16 (وزنهای 4 بیتی، فعالسازیهای 16 بیتی) را انجام میدهند:
- 1. خواندن فشرده از HBM: کرنل وزنهای 4 بیتی بستهبندیشده (هشت مقدار INT4 در یک عدد صحیح 32 بیتی) را از VRAM سراسری کند بارگذاری میکند و مصرف پهنای باند حافظه را 4× کاهش میدهد.
- 2. بازکردن بسته در سطح رجیستر: درون رجیسترهای فوقسریع GPU، کرنل CUDA با شیفتهای بیتی سریع (>>) و ماسکهای بیتی (&) اعداد INT4 را باز میکند و ضرایب مقیاس/نقطهصفر ذخیرهشده را اعمال میکند تا آنها را بهصورت لحظهای به مقادیر FP16 برگرداند.
- 3. محاسبات فوری Tensor Core: وزنهای FP16 تازهبازشده بیدرنگ همراه با فعالسازیهای FP16 به Tensor Coreها داده میشوند، بیآنکه وزنهای گستردهشده 16 بیتی هرگز دوباره در VRAM نوشته شوند.