Transformer ( Олны анхаарал татсан анхаарлын механизм )
Сүүлийн хэдэн жилийн турш гүнзгий сургалтын салбарт Transformer архитектур нь маш их анхаарал татсан, хүчирхэг загвар болон хөгжсөн. Ялангуяа хэлний загварууд дээр гайхалтай үр дүн үзүүлж, Google-ийн “Attention is All You Need” (2017) paper-аас хойш AI-ийн түүхэнд эргэлт гаргасан. Энэхүү нийтлэлээр Transformer архитектур, блок болон attention-ий талаар өгүүлнэ. 1. Transformer архитектур Трансформерыг ялгаруулж чадсан нэг […]
Хэлний загварууд ба тэдгээрийн хөгжил
Хэлний загвар (Language Model – LM) гэж юу вэ? Хэлний загварууд нь хүний хэл яриаг ойлгож, боловсруулах зорилготой хиймэл оюун ухааны чухал дэд салбар юм. Эдгээр загварууд нь их хэмжээний бичвэрэн өгөгдлөөс суралцаж, үгсийн болон өгүүлбэрийн хоорондын утгазүйн болон бүтцийн хамаарлыг тогтоодог. Суралцсан мэдлэг дээрээ үндэслэн хэлний загварууд нь шинэ бичвэр үүсгэх, орчуулах, хураангуйлах, асуултад […]
Шинэ бичвэрүүд
Rust Хэлний Санах Ойн Ме 2025-07-13
TypeScript = Types + Javascript 2025-07-10
