vanishing_gradient_problem.md

layout	word	translation
word	Vanishing Gradient Problem	مشکل محو شدگی گرادیان

گرایش شیب لایه‌های پنهان اولیه در برخی از شبکه‌های عصبی عمیق به طور شگفت انگیزی مسطح (کم) می‌شود. شیب‌های فزاینده کمتر منجر به تغییرات فزاینده‌ی کوچک‌تر در وزن گره‌های یک شبکه عصبی عمیق می‌شود که منجر به یادگیری کم یا عدم یادگیری می‌شود. آموزش مدل‌هایی که مشکل محو شدگی گرادیان دارند دشوار یا غیرممکن است که با استفاده از سلول‌های حافظه طولانی کوتاه-مدت می‌توان این مسئله را برطرف کرد.

مقایسه با مشکل انفجار گرادیان.