NLLB гэж юу вэ?
NLLB (No Language Left Behind) бол Meta AI-ийн боловсруулсан хэлний загвар бөгөөд дэлхийн аль ч хэлийг орхигдуулахгүй орчуулгын систем бүтээх зорилготой.
NLLB нь 200 гаруй хэлийг хамарсан нейрон орчуулгын загвар (Neural Machine Translation, NMT) юм. Энэ загвар нь Meta AI-аас 2022 онд анх танилцуулагдсан бөгөөд:
200+ хэл хооронд шууд орчуулга хийх чадвартай
Transformer архитектур дээр суурилсан
Маш бага хэмжээний өгөгдөлтэй хэлүүдэд ч өндөр гүйцэтгэлтэй
NLLB-ийн онцлог
- Multilingual – 200 гаруй хэл дэмждэг
- Low-resource focus – Бага дататай хэлүүдийг онцолж, өндөр гүйцэтгэл үзүүлдэг
- Direct Translation – Англи хэлийг заавал дамжуулахгүй, шууд A ⇄ B хэлний орчуулга дэмждэг
- Open-source – Hugging Face болон GitHub дээр жишээ, загварууд нь нээлттэй
NLLB загварын архитектур
NLLB загвар нь Transformer архитектур дээр үндэслэсэн.
NLLB нь Encoder-Decoder бүтэцтэй бөгөөд үндсэн хэсгүүд:
Input embeddings – Текстийг тоон вектор болгоно (үгийн ID )
Encoder layers – Оруулсан текстийг ойлгож, утга агуулгыг шүүж авна.
Decoder layers – Орчуулгыг алхам алхмаар үүсгэхдээ өмнөх орчуулсан үгнүүдийг харгалзана.
Attention mechanism – Аль үгэнд төвлөрөх вэ гэдгийг тодорхойлно.
Загварын хувилбарууд
| Загварын нэр | Параметрийн тоо | Хэлний тоо | Хэрэглээний түвшин |
NLLB-200-600M 600 сая 200 Хөнгөн
NLLB-200-1.3B 1.3 тэрбум 200 Дундаж
NLLB-200-3.3B 3.3 тэрбум 200 Хүнд
Татах ба ашиглах
