گرافهای CUDA، مدلهای استدلالی و سرویسدهی تفکیکشده

زیرساخت مدرن هوش مصنوعی عملکرد را از طریق حذف سربار CPU، حلقههای استدلال در زمان استنتاج و مسیریابی خوشه GPU تخصصیشده بر اساس فاز، به حدود فیزیکی سیلیکون و خوشهها میرساند. این سه تکنیک سریعترین و هوشمندترین سامانههای هوش مصنوعی تولیدی امروز را به حرکت درمیآورند.
1. گرافهای CUDA و ادغام کرنل: حذف سربار CPU & حافظه
با اینکه GPUهای مدرن (مانند H100 و B200) بهطور نمایی سریعتر شدهاند، اجرای یک کرنل سبک GPU میتواند تنها 2 تا 5 میکروثانیه طول بکشد. اما CPU اغلب برای آمادهسازی، اعتبارسنجی و راهاندازی همان کرنل از طریق درایور PCIe، 10 تا 20 میکروثانیه زمان میبرد—و GPU چند میلیون دلاری کاملاً بیکار در انتظار دستورهای CPU میماند.
- ادغام کرنل (ترکیب عملیات برای صرفهجویی در حافظه و راهاندازیها).
- گلوگاه نبود ادغام. یک لایه استاندارد Transformer دهها عملیات کوچک را بهترتیب اجرا میکند (مثلاً LayerNorm → Linear → Add Residual → GeLU). بدون ادغام، GPU برای هر گام کرنل جداگانه راه میاندازد، تانسورهای میانی را در HBM (VRAM) کند مینویسد و بلافاصله برای گام بعد دوباره میخواند.
- اجرای ادغامشده. کامپایلرهایی مانند torch.compile (TorchInductor) و TensorRT-LLM چندین عملیات عنصربهعنصر و کاهشی را در یک کرنل سفارشی CUDA/Triton ادغام میکنند. مقادیر یک بار از HBM بارگذاری میشوند، درون رجیسترها/SRAM فوقسریع روی تراشه تبدیل میشوند و فقط در پایان کار دوباره در HBM نوشته میشوند—که ترافیک پهنای باند حافظه و تعداد راهاندازیهای کرنل را بهشدت کاهش میدهد.
- گرافهای CUDA (بازپخش کل خطوط لوله اجرا در یک مرحله).
- ضبط و بازپخش. حتی پس از ادغام کرنل، یک گذر روبهجلوی LLM همچنان به صدها راهاندازی کرنل برای هر توکن تولیدشده نیاز دارد. گرافهای CUDA این مشکل را با ثبت کل یک دنباله از عملیات GPU—کرنلها، کپیهای حافظه و وابستگیها—در یک اجرای گرمکننده و کامپایل آنها به یک گراف اجرای ایستا که مستقیماً در حافظه GPU ذخیره میشود، حل میکنند.
- بدون مداخله CPU. در استنتاج بیدرنگ، بهجای آنکه CPU 300 کرنل جداگانه را یکییکی راه بیندازد، CPU فقط یک فراخوانی API (cudaGraphLaunch) صادر میکند که کل گذر روبهجلو را روی GPU بهصورت خودکار اجرا میکند.
- مدیریت شکلهای پویا. چون گرافهای CUDA به آدرسهای حافظه و شکلهای تانسور ایستا نیاز دارند، موتورهای استنتاج دستههای ورودی را تا اندازههای سطل ثابت (مثلاً اندازههای دسته 1، 2، 4، 8، 16) پد میکنند و پیش از بازپخش گراف از پیش ضبطشده، اشارهگرهای ورودی را درجا بهروز میکنند.
2. محاسبات زمان آزمون & مدلهای استدلالی (o1/o3 & DeepSeek-R1)
در گذشته، آزمایشگاههای هوش مصنوعی هوش را صرفاً با ریختن محاسبات بیشتر در پیشآموزش مقیاس میدادند (مدلهای بزرگتر که روی متن بیشتری از اینترنت آموزش میدیدند). مدلهای استدلالی مانند o1/o3 شرکت OpenAI و DeepSeek-R1 محور دوم مقیاسدهی را گشودند: محاسبات زمان آزمون (مقیاسدهی زمان استنتاج)، که به مدلها اجازه میدهد پیش از پاسخدادن مدت بیشتری «فکر» کنند.
- یادگیری تقویتی برای زنجیره تفکر (CoT).
- این مدلها بهجای تکیه صرف بر نمونههای نوشتهشده توسط انسان از استدلال گامبهگام، با یادگیری تقویتی (RL) در مقیاس بزرگ (مانند GRPO – Group Relative Policy Optimization در DeepSeek-R1) روی حوزههای راستیآزماییپذیر مانند ریاضی، برنامهنویسی و منطق صوری آموزش میبینند.
- مدل چندین مسیر استدلال نامزد تولید میکند، فقط زمانی پاداش عینی میگیرد که پاسخ نهاییاش از آزمونهای واحد یا راستیآزمایی ریاضی بگذرد، و رفتارهای شناختی نوظهور را خودکار کشف میکند—از جمله خودراستیآزمایی، بازگشت به عقب هنگام رسیدن به بنبست، و شکستن مسائل پیچیده به زیرهدفها.
- مقیاسپذیری محاسبات استنتاج چگونه است.
- وقتی پرامپتی دشوار داده میشود، مدل پیش از ارائه پاسخ نهایی هزاران «توکن تفکر» درونی را در یک پیشنویس پنهان تولید میکند. با صرف توکنهای استنتاج بیشتر برای کاوش فرضیهها، دقت بهصورت لگاریتمی بهبود مییابد.
- تغییر موازنه محاسباتی. در LLMهای سنتی استنتاج ارزان و سریع است (تولید حدود 50 توکن خروجی). در مدلهای استدلالی یک پرسش ممکن است 10,000 تا 50,000 توکن تفکر تولید کند و استنتاج را به یک بار کاری عظیم و پیوسته تولید دستهای تبدیل کند که رشد KV-cache و کارایی توجه در بافت بلند بر آن حاکم است.
3. تفکیک Prefill و Decode
سرویسدهی یک LLM از دو فاز محاسباتی اساساً متضاد تشکیل میشود. اجرای هر دو فاز روی دقیقاً یک GPU تعارضهای زمانبندی شدید و کمبهرهوری سختافزار ایجاد میکند.
| فاز | ماهیت بار کاری | گلوگاه سختافزاری | معیار تأخیر |
|---|---|---|---|
| Prefill (پردازش پرامپت) | همه توکنهای پرامپت (مثلاً 10,000 توکن) را بهصورت موازی در یک گذر روبهجلو پردازش میکند. | محدود به محاسبات (Tensor Coreهای GPU را با ضربهای ماتریسی عظیم اشباع میکند). | TTFT (زمان تا اولین توکن) |
| Decode (تولید توکن) | توکنهای خروجی را یکییکی و بهترتیب تولید میکند و در هر گام کل KV cache را میخواند. | محدود به پهنای باند حافظه (Tensor Coreها بیشتر بیکارند و منتظر خواندن از VRAMاند). | TPOT (زمان بهازای هر توکن خروجی) |
- مسئله تداخل هممکانی.
- در سرویسدهی یکپارچه سنتی، اگر یک کاربر سندی عظیم با 32,000 توکن را برای Prefill بفرستد در حالی که 50 کاربر دیگر در میانه دریافت جریانی توکنهای Decode هستند، ریاضیات ماتریسی عظیم prefill Tensor Coreهای GPU را قبضه میکند—و برای هر 50 کاربر جریانی قفلشدنها و جهشهای تأخیر قابلتوجه («لکنت») ایجاد میکند.
- علاوه بر این، Prefill به FLOPهای محاسباتی بالا نیاز دارد، در حالی که Decode به پهنای باند و ظرفیت عظیم حافظه HBM برای نگه داشتن KV cacheهای دستههای بزرگ نیاز دارد.
- تقسیم خوشه (معماری تفکیکشده).
- سامانههای استنتاج مدرن در مقیاس ابری (مانند Mooncake، DistServe و NVIDIA Dynamo) خوشه GPU را به دو استخر اختصاصی تقسیم میکنند:
- 1. استخر Prefill: بهینهشده برای توان عملیاتی محاسباتی خام (بهرهبرداری بالا از Tensor Core، موازیسازی تانسور کوچکتر) تا پرامپتهای بلند را سریع پردازش کند و به اهداف سختگیرانه زمان تا اولین توکن (TTFT) برسد.
- 2. استخر Decode: بهینهشده برای پهنای باند حافظه بالا و ظرفیت زیاد KV-cache (موازیسازی تانسور/خبره گستردهتر، اندازههای دسته بزرگ) تا توکنها را با حداکثر توکن در ثانیه روان پخش کند.
- انتقال پرسرعت KV Cache. وقتی یک GPU از نوع Prefill پردازش یک پرامپت را تمام میکند و KV Cache اولیهاش را میسازد، آن KV Cache را مستقیماً از طریق اتصالات فوقسریع NVLink یا InfiniBand RDMA به VRAM یک GPU از نوع Decode جریان میدهد که بیدرنگ و بدون هیچ تداخلی تولید توکن را به دست میگیرد.