fbpx

TPU (Tensor Processing Unit) гэдэг нь Google компаниас тусгайлан машин сургалтын даалгавруудыг хурдасгах зорилгоор бүтээсэн ASIC (Application specific integrated circuit) юм. Анх 2015 онд танилцуулагдсан бөгөөд гүн сургалтын ажлуудад CPU болон GPU – аас илүү өндөр гүйцэтгэл, бага энерги хэрэглээ, хямд өртөг бүхий шийдэл юм

Яагаад TPU хэрэгтэй болсон бэ?

Хэвийн CPU, GPU нь олон талт ажиллагаатай ч, гүн сургалтын загварууд ихэнхдээ:

  • Матриц үржвэр
  • Өндөр давтамж, бага сааталтай тооцоолол шаардаж байдаг.
  • Tensor дээрх тооцоолол

TPU – ийн архитектур

TPU нь нейрон сүлжээний tensor дээрх алгебр үйлдэлд илүү нарийн тохируулагдсан бүтэцтэй бөгөөд үүний архитектурт дараах зүйлс багтана.

  • MXU (Matrix multiply units): систолик массивын тусламжтайгаар секундэд олон сая үржвэр – нийлбэрийн тооцоолол хийдэг.
  • HBM (High bandwidth memory): асар их хэмжээний өгөгдлийг хурдан уншиж бичихэд зориулагдсан.
  • On chip memory: гадаад санах ой руу орох шаардлагыг бууруулдаг
  • Vector processing units, scalar матриц биш бусад үйлдлүүдийг хийдэг.

дээр зурагт TPU бүрэлдэхүүн хэсгүүдийг харуулж байна.

TPU – ийн хөгжлийн үе шатууд

үзүүлэлтTPUv1 TPUv2TPUv3TPUv4
танилцуулагдсан он2015201720182021
санах ой 8GiB DDR31GiB6 HBM32GiB HBM32GiB HBm
ажиллах хурд (clock speed)700 MHz700 MHz940 MHz1050 MHz
TOPS (TERA operations per second) секундэд 10^12 үйлдэл гүйцэтгэх2345123275
чипний литографын хэмжээс28nm16nm16nm7nm

TPU vs GPU vs CPU

Шинж чанарCPU GPUTPU
Ашиглах хүрээЕрдийн даалгавруудадПараллель тооцоолол, График дүрслэл, машин сургалтын даалгаварМашин сургалт, Гүн сургалт
Саатал БагаДундМаш Бага
Эрчим хүчний үр ашигтай байдалБагаДундӨндөр
Тохируулагдах чадварУян хатан ХязгаарлагдмалЗөвхөн машин сургалт, гүн сургалтад тохируулагдсан

TPU хэрэглэгддэг даалгаврууд

  • Эх хэлний боловсруулалт (NLP): BERT, T5, GPT гэх мэт том загварууд дээр
  • Компьютерын хараа (Computer vision)
  • Хүчитгэсэн сургалт (Reinforcement learning)
  • AlphaFold гэх мэт шинжлэх ухааны тооцоололд

TPU дэмждэг python сан

TensorFlow, JAX, PyTorch , Keras 3 гэх сангууд нь одоогоор TPU дэмждэг байгаа бөгөөд мөн Google компанийн хөгжүүлсэн сан дээр суурилсан хэд хэдэн сан байдаг байна.

Нэмж дурдахад

Хэрэв та ямар нэгэн машин сургалт, гүн сургалтын төсөл даалгавар хийж байгаа бидний сайн мэдэх Google Colab – ийн тооцооллын төхөөрөмжүүдэд TPU байдаг байна.

Дээрх зурагт харуулснаар Google colab – ийн үнэгүй эрхэнд Version2 TPU байдаг байна. Энэ нь бидэнд BERT, T5, GPT гэх том загваруудыг ашиглан төсөл даалгавар хийх боломжийг олгож байна.

Leave a Reply