پذیرش CUDA: از آزمایش‌های اولیه GPU تا جهش AlexNet

پژوهشگران هوش مصنوعی میان سال‌های ۲۰۰۶ و ۲۰۰۹ به مزیت عملکردی عظیم CUDA برای شبکه‌های عصبی پی بردند و جهش قطعی و فراگیر در سال ۲۰۱۲ رخ داد. پیش از این تغییر، شبکه‌های عصبی به‌طور گسترده بیش از حد کند و از نظر محاسباتی پرهزینه‌تر از آن دانسته می‌شدند که کاربردی باشند.

نقاط عطف کلیدی در پذیرش CUDA

• ۲۰۰۶ (عرضهٔ CUDA): NVIDIA پلتفرم CUDA را راه‌اندازی کرد و به پژوهشگران اجازه داد به‌جای شیدرهای گرافیکی پیچیده (مانند OpenGL)، GPUها را با C/C++ استاندارد برنامه‌نویسی کنند.

• ۲۰۰۷–۲۰۰۸ (آزمایش‌های اولیهٔ شبکه‌های عصبی): پذیرندگان اولیه شروع به انتقال الگوریتم‌های شبکهٔ عصبی به CUDA کردند. در سال ۲۰۰۸، پژوهشگر Rajat Raina و تیم Andrew Ng در Stanford نشان دادند که GPUهای مجهز به CUDA می‌توانند شبکه‌های باور عمیق (deep belief networks) را تا ۷۰ برابر سریع‌تر از CPUهای چندهسته‌ای آموزش دهند.

• ۲۰۰۹–۲۰۱۰ (محک‌های رکوردشکن): آزمایشگاه Jürgen Schmidhuber (از جمله Dan Cireșan) از GPUهای شتاب‌یافته با CUDA برای آموزش شبکه‌های عصبی عمیقی استفاده کرد که رکوردهای تشخیص دست‌خط (MNIST) را درهم شکستند و ثابت کردند شبکه‌های عمیق‌تر را می‌توان بدون ابررایانه‌های تخصصی آموزش داد.

• ۲۰۱۲ (نقطهٔ عطف AlexNet): لحظهٔ تعیین‌کننده در مسابقهٔ ImageNet رخ داد. Alex Krizhevsky، Ilya Sutskever و Geoffrey Hinton با استفاده از کرنل‌های سفارشی CUDA روی دو GPU مدل NVIDIA GTX 580، AlexNet را آموزش دادند و نرخ خطای طبقه‌بندی تصویر را در مقایسه با روش‌های سنتی تقریباً به نصف رساندند. این پیروزی انقلاب نوین یادگیری عمیق را برانگیخت.

• ۲۰۱۴ (عرضهٔ cuDNN): پس از رونق AlexNet، NVIDIA کتابخانهٔ cuDNN (کتابخانهٔ شبکه‌های عصبی عمیق CUDA) را منتشر کرد و بلوک‌های بهینه‌شدهٔ آمادهٔ GPU را برای چارچوب‌هایی مانند Caffe، Theano، TensorFlow و PyTorch در اختیار هر پژوهشگر هوش مصنوعی گذاشت.

چرا همه‌چیز را تغییر داد

پیش از CUDA، آموزش یک شبکهٔ عصبی با اندازهٔ متوسط روی CPUها هفته‌ها یا ماه‌ها طول می‌کشید و پژوهش به روش آزمون و خطا را تقریباً ناممکن می‌کرد. CUDA این زمان‌های آموزش را به چند روز یا چند ساعت رساند و به پژوهشگران اجازه داد مجموعه‌داده‌ها را بزرگ‌تر کنند، لایه‌های بیشتری روی هم بگذارند و معماری‌های نوین مانند Transformers و مدل‌های زبانی بزرگ را ابداع کنند.