FSDP2، پروفایلگیری GPU و محاسبات موبایل

مهندسی هوش مصنوعی در محیط تولید، اجرای توزیعشده روی چند GPU، پروفایلگیری در سطح سختافزار و محیطهای اجرای چندسکویی موبایل/لبه را به هم پیوند میدهد. در ادامه بررسی عمیق هر سه حوزه آمده است.
1. آموزش توزیعشده روی چند GPU با PyTorch FSDP2
FSDP2 مدرن در PyTorch (fully_shard) پارامترهای مدل، گرادیانها و حالتهای بهینهساز را بهصورت پارامتربهپارامتر و با استفاده از DTensor بین GPUها تقسیم میکند و ضمن همپوشانی ارتباط با محاسبه، تکرار حافظه را از بین میبرد.
در ادامه یک اسکریپت کامل آموزش چند GPU آمده است. آن را روی 4 GPU با torchrun --nproc_per_node=4 train_fsdp.py اجرا کنید.
import os
import torch
import torch.nn as nn
import torch.distributed as dist
from torch.distributed._composable.fsdp import fully_shard, MixedPrecisionPolicy
class TransformerBlock(nn.Module):
def __init__(self, dim=2048, n_heads=16):
super().__init__()
self.norm1 = nn.RMSNorm(dim)
self.attn = nn.MultiheadAttention(dim, n_heads, batch_first=True)
self.norm2 = nn.RMSNorm(dim)
self.ffn = nn.Sequential(
nn.Linear(dim, dim * 4, bias=False),
nn.SiLU(),
nn.Linear(dim * 4, dim, bias=False),
)
def forward(self, x):
h = self.norm1(x)
attn_out, _ = self.attn(h, h, h, need_weights=False)
x = x + attn_out
return x + self.ffn(self.norm2(x))
class MiniLLM(nn.Module):
def __init__(self, vocab_size=32000, dim=2048, n_layers=12):
super().__init__()
self.embed = nn.Embedding(vocab_size, dim)
self.layers = nn.ModuleList([TransformerBlock(dim) for _ in range(n_layers)])
self.head = nn.Linear(dim, vocab_size, bias=False)
def forward(self, idx):
x = self.embed(idx)
for layer in self.layers:
x = layer(x)
return self.head(x)
def main():
# 1. Initialize NCCL process group
dist.init_process_group(backend="nccl")
local_rank = int(os.environ["LOCAL_RANK"])
torch.cuda.set_device(local_rank)
device = torch.device("cuda", local_rank)
# 2. Build model on meta device or standard CUDA, then shard layer-by-layer
model = MiniLLM().to(device)
mp_policy = MixedPrecisionPolicy(
param_dtype=torch.bfloat16,
reduce_dtype=torch.float32,
)
# Shard each TransformerBlock independently to prefetch weights on the fly
for layer in model.layers:
fully_shard(layer, mp_policy=mp_policy)
fully_shard(model, mp_policy=mp_policy)
optimizer = torch.optim.AdamW(model.parameters(), lr=3e-4)
# 3. Distributed Training Step (All-Gather -> Compute -> Reduce-Scatter)
for step in range(5):
tokens = torch.randint(0, 32000, (8, 1024), device=device)
targets = torch.randint(0, 32000, (8, 1024), device=device)
optimizer.zero_grad()
logits = model(tokens)
loss = nn.functional.cross_entropy(logits.view(-1, 32000), targets.view(-1))
loss.backward()
optimizer.step()
if local_rank == 0:
mem_gb = torch.cuda.max_memory_allocated(device) / 1e9
print(f"Step {step} | Loss: {loss.item():.4f} | Peak VRAM/GPU: {mem_gb:.2f} GB")
dist.destroy_process_group()
if __name__ == "__main__":
main()- در پشت صحنه چه میگذرد: پیش از گذر روبهجلوی هر لایه، FSDP یک NCCL All-Gather ناهمزمان روی NVLink صادر میکند تا وزنهای کامل bfloat16 را فقط برای همان بلوک بازسازی کند، محاسبات را انجام میدهد و بلافاصله وزنهای تقسیمنشده را دور میاندازد. در طول loss.backward()، گرادیانها میانگینگیری شده و از طریق Reduce-Scatter دوباره بین GPUها تقسیم میشوند.
2. پروفایلگیری از مدل PyTorch: PyTorch Profiler و NVIDIA Nsight Compute (ncu)
بهینهسازی کد GPU مستلزم دانستن این است که یک کرنل محدود به پهنای باند حافظه است (در انتظار خواندن/نوشتن HBM متوقف میماند) یا محدود به محاسبه (FLOPS هستههای Tensor را اشباع میکند).
گام A: ردیابی در سطح کلان با torch.profiler
از PyTorch Profiler برای یافتن فاصلههای راهاندازی CPU، دیتالودرهای کند و پرزمانترین کرنلهای CUDA استفاده کنید.
import torch
from torch.profiler import profile, ProfilerActivity
model = torch.nn.Linear(4096, 4096, device="cuda", dtype=torch.float16)
x = torch.randn(1024, 4096, device="cuda", dtype=torch.float16)
with profile(
activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA],
record_shapes=True,
profile_memory=True,
) as prof:
for _ in range(5):
out = model(x)
out.sum().backward()
torch.cuda.synchronize()
print(prof.key_averages().table(sort_by="cuda_time_total", row_limit=10))
prof.export_chrome_trace("trace.json") # Open in ui.perfetto.devگام B: تحلیل Roofline در سطح خرد با NVIDIA Nsight Compute (ncu)
هنگامی که torch.profiler یک کرنل کند را شناسایی کرد، ncu را از ترمینال اجرا کنید تا شمارندههای عملکرد سختافزار را مستقیماً روی Streaming Multiprocessorها (SMها) بررسی کنید:
ncu --set full --target-processes all -o kernel_report python my_script.pyهنگام بررسی Speed of Light (SOL) و نمودار Roofline در kernel_report.ncu-rep، به دو عدد توجه کنید:
| معیار سختافزاری | کرنل محدود به حافظه (مثلاً LayerNorm، Softmax، Decode) | کرنل محدود به محاسبه (مثلاً GEMM با بچ بزرگ، Prefill) |
|---|---|---|
| توان عملیاتی محاسبه (SM) | پایین (< 25%) — هستههای Tensor بیکارند. | بالا (> 75%) — هستههای Tensor نزدیک به اوج FLOPS کار میکنند. |
| توان عملیاتی حافظه (HBM) | بالا (> 75%) — گذرگاه HBM کاملاً اشباع است. | پایین تا متوسط (< 50%) — دادهها از حافظههای نهان SRAM روی تراشه دوباره استفاده میشوند. |
| راهحل اصلی | ادغام کرنل (Triton/torch.compile)، کوانتیزاسیون (FP8/INT4) یا افزایش اندازهٔ بچ. | دقت پایینتر (FP8/NVFP4)، همترازی کاشیهای هستهٔ Tensor (مضربهای 64/128) یا GPUهای بزرگتر. |
3. اجرای GPU روی لبه و موبایل: Apple Metal و Vulkan Compute
استقرار شبکههای عصبی روی گوشیهای هوشمند، لپتاپها و دستگاههای نهفته مستلزم اجرا بدون درایورهای NVIDIA یا بودجهٔ توان سنگین است و در عوض به Apple Metal و Vulkan Compute با معماریهای حافظهٔ یکپارچه (UMA) تکیه میکند.
- معماری حافظهٔ یکپارچه (اجرای بدون کپی).
- برخلاف GPUهای مجزای NVIDIA که نیاز دارند تانسورها از طریق PCIe از RAM پردازنده به VRAM کپی شوند، Apple Silicon (M-series / A-series) و SoCهای موبایل (Qualcomm Snapdragon، ARM Mali) یک مخزن حافظهٔ فیزیکی واحد LPDDR5/LPDDR5X را بین CPU، GPU و NPU به اشتراک میگذارند.
- فریمورکهایی مانند Apple MLX، llama.cpp و ExecuTorch وزنهای مدل را مستقیماً در فضای آدرس مشترک نگاشت میکنند (MTLResourceStorageModeShared) و تأخیر انتقال میزبانبهدستگاه را کاملاً از بین میبرند.
- Apple Metal و Metal Performance Shaders (MPS).
- در macOS و iOS، Metal جایگزین CUDA میشود. توسعهدهندگان شیدرهای محاسباتی را به زبان Metal Shading Language (MSL) — مشتقی از C++14 — مینویسند و threadgroupها را بین هستههای GPU اپل و دستورهای Simdgroup Matrix (معادل هستههای Tensor شرکت NVIDIA در اپل) توزیع میکنند.
- در PyTorch، تنظیم device="mps" عملیات تانسوری را از طریق کامپایلر MPSGraph اپل هدایت میکند که عملیات را بهصورت پویا ادغام میکند و کار را بین واحدهای اجرایی GPU زمانبندی میکند.
- Vulkan Compute چندسکویی و SPIR-V.
- در Android، Windows، Linux و GPUهای AMD/Intel/Qualcomm، Vulkan Compute بهعنوان بکاند GPU جهانی و بیطرف نسبت به فروشنده عمل میکند.
- کرنلهای محاسباتی (نوشتهشده با GLSL، HLSL یا کامپایلشده از MLIR/IREE) به بایتکد SPIR-V کامپایل میشوند. با استفاده از افزونههای Cooperative Matrix (VK_KHR_cooperative_matrix)، کرنلهای Vulkan با یک باینری قابلحمل واحد مستقیماً به واحدهای ضرب ماتریس سختافزار در GPUهای Qualcomm Adreno، ARM Mali، AMD RDNA و Intel Arc دسترسی مییابند.