Өмнөх нийтлэлээр бид Сигмойд ньюрон гэж юу болохыг тайлбарлаад дууссан. Энэхүү нийтлэлээрээ өмнөх нийтлэлийн эхэнд дэвшүүлсэн бодлого болох гараар бичсэн тооны дүрсийг таних мэдрэлийн сүлжээг байгуулж зорилго руугаа нэг алхам урагшлах болно.
Мэдрэлийн сүлжээний архитектур
Бидний өмнөх нийтлэлүүдээр Персептронуудыг оролт гаралтыг холбон байрлуулаад асуудлыг амархан шийдэж болдгыг харсан билээ. Тэгвэл персептронуудыг өмнө нь үзсэн ньюроноор сольж хооронд нь холбон байршуулбал тэр нь мэдрэлийн сүлжээ болох юм.
Мэдрэлийн сүлжээ нь дараах зүйлсээс бүрддэг.
- Оролтын давхарга: Өгөгдлийг шууд хүлээж авч буй давхарга
- Далд давхарга: Өөр ньюроны гаралтыг оролтоор авч буцаагаад тэр нь дараагын ньюроны оролт болж ордог давхарга.
- Гаралтын давхарга: Тухайн ньюроны гаралт нь эцсийн хариу болж гардаг.
Feedforward Neural network ( шууд холбоост мэдрэлийн сүлжээ )
Өдийг хүртэл харсан сүлжээнүүд маань бүгд шууд холбогдсон буюу гаралтын утга нь дараагын давхаргын оролт болон ордог сүлжээнүүд байсан. Ийм сүлжээг шууд холбоост мэдрэлийн сүлжээ буюу Feedforward Neural network гэж нэрлэдэг.
Recurrent Neural network (pекурсив мэдрэлийн сүлжээ)
Шууд холбоост мэдрэлийн сүлжээнд оролтын утгуудын дарааллаас үл хамааран сүлжээ ажилладаг бол энэхүү сүлжээнд оролтын утгуудын дарааллаас хамааран сүлжээ ажилладагаараа ялгаатай. Тухайн ньюроны гаралт буцаад өөрийнх нь оролтод нөлөөлж болно гэсэн үг. Доорх зураг дээр pекурсив мэдрэлийн сүлжээг дүрсэллээ. Энэхүү сүлжээ нь олон төрөл байдаг бөгөөд та сонирхвол өөрөө дэлгэрүүлэн судлаарай.
Гараар бичсэн тоог таних мэдрэлийн сүлжээний загвар
Мэдрэлийн сүлжээний талаар ойлголттой болсон тул үүнийгээ ашиглан өмнөх нийтлэлээр дурдсан бодлогоны загварыг байгуулцгаая. Хялбар байлгах үүднээс гар бичмэл тоо таних сүлжээгээ ердөө 3 давхаргатай болгoё.
1. Оролтын давхарга — 28×28 пиксел
Зураг нь пикселүүдийн цуваанаас бүрдэх бөгөөд тухайн пикселүүдийн өнгөний утга нь тоогоор илэрхийлэгдэнэ. Дээрх жишээг авч үзвэл зураг 28×28 хэмжээсийн пикселтэй. Тиймээс манай оролтын давхаргад 784 ширхэг ньюрон агуулагдана.
Ньюрон руу орох утга нь 0.0 (цагаан) – 1.0 (хар) хооронд байна.
2. Далд давхарга
Энэ давхаргын ньюронууд оролтоор ирсэн бүх утгуудаас хамааралтайгаар холбогдоно.
3. Гаралтын давхарга — 10 ньюрон
Бидэнд 0–9 хүртэл 10 цифр байгаа тул гаралтын давхаргад 10 ньюрон орно. Эдгээрийн аль нь хамгийн өндөр гаралттай байна, тэр нь манай хариу болно гэсэн үг.
Гаралтын ньюроны тоо заавал 10 байх албагүй. Жишээ нь гаралтыг 4 ньюроноор илэрхийлж болно. 2⁴ = 16 боломжит хариу гаргах боломжтой тул манай 10 цифрт хангалттай гэсэн үг.
Далд давхарга юу хийж байна вэ?
Далд давхаргын ньюронууд оролтын утгуудаас тодорхой хэв шинж, шинж чанар “мэдрэх” үүрэгтэй. Жишээ нь: Зургийн баруун дээд буланд гогцоо байвал идэвхждэг ньюрон, зүүн доод буланд сүүл шиг дүрс байвал идэвхждэг ньюрон гэх мэт.
Хэрвээ дүрс 4 талдаа гогцоотой байвал тухайн тоо 0 байх магадлалтай. Тиймээс далд давхаргын гогцоотой холбоотой ньюронууд идэвхжиж, тэдгээртэй холбогдсон гаралтын давхаргын 0-р ньюроны жин буюу нөлөө нь өндөр байх болно.
Дүгнэлт
Ингээд бид мэдрэлийн сүлжээ хэрхэн ажилладаг, оролт–далд–гаралт гэсэн үндсэн давхаргууд нь ямар үүрэгтэй болохыг харлаа. Эдгээр ойлголт дээр тулгуурлан 28×28 пиксел бүхий гараар бичсэн цифрийг таних энгийн сүлжээг хэрхэн байгуулж болохыг жишээ болгон авч үзлээ. Дараагын ниитлэлээр энэхүү сүлжээ хэрхэн сайжирч суралцдаг болох талаар тайлбарлах болно. Энэ хүртэл уншсан танд баярлалаа.
Эх сурвалжууд
- Neural Network and Deep learning by Micheal Nielsen
- https://en.wikipedia.org/wiki/Recurrent_neural_network
- https://en.wikipedia.org/wiki/Feedforward_neural_network
- https://www.kaggle.com/datasets/hojjatk/mnist-dataset
