fbpx

Day: June 23, 2025

Transformer ( Олны анхаарал татсан анхаарлын механизм )

Сүүлийн хэдэн жилийн турш гүнзгий сургалтын салбарт Transformer архитектур нь маш их анхаарал татсан, хүчирхэг загвар болон хөгжсөн. Ялангуяа хэлний загварууд дээр гайхалтай үр дүн үзүүлж, Google-ийн “Attention is All You Need” (2017) paper-аас хойш AI-ийн түүхэнд эргэлт гаргасан. Энэхүү нийтлэлээр Transformer архитектур, блок болон attention-ий талаар өгүүлнэ. 1. Transformer архитектур Трансформерыг ялгаруулж чадсан нэг […]