Google найм дахь үеийн TPU-гээ нууцлалт тооцоолол, урт контекстод зориулсан TPU 8tx, TPU 8i Max системээр өргөжүүллээ

Google 11-р сарын 9-нд найм дахь үеийн Tensor Processing Unit (TPU) багцаа TPU 8tx болон TPU 8i Max гэсэн хоёр шинэ системээр өргөжүүлснээ зарлалаа. Компанийн хиймэл оюун ба дэд бүтцийн ахлах дэд ерөнхийлөгч Амин Вахдат-ын бичсэнээр Google нэг жилийн дотор дөрвөн TPU систем танилцуулсан нь анх удаа юм. Мэдээг DCD, SiliconANGLE нар дэлгэрүүлэн мэдээлэв.

TPU 8tx: нууцлалт тооцоолол

Өгөгдөл ихэвчлэн хадгалах болон сүлжээгээр дамжих үедээ шифрлэгдсэн байдаг ч компьютер боловсруулах үед санах ойд тайлагддаг. Google-ийн мэдээлснээр TPU 8t-тэй ижил цахиур дээр суурилж, AMD-ийн 5 дахь үеийн EPYC процессортой хослуулсан TPU 8tx нь аюулгүй байдлыг техник хангамжийн түвшинд суулгаж, мэдрэг өгөгдөл болон загварын жинг ашиглагдаж байх үед ч хамгаалж, тусгаарлана. Энэ систем нь хамгийн мэдрэг өгөгдөлтэйгөө хамт фронтир загвар, бие даасан агент ажиллуулдаг зохицуулалт өндөртэй салбарын байгууллага, засгийн газруудад зориулагдсан бөгөөд TPU 8t-тэй харьцуулахад саатлыг хоёр дахин хүртэл бууруулна.

TPU 8i Max: "санах ойн хана"-г даван туулах

Олон арван агент бүтэн кодын сан эсвэл олон цагийн видеон дээр зэрэг ажиллахад санах ойн зурвасын өргөн гол хязгаарлалт болдог. TPU 8i Max нь хоёр TPU 8i чипийг нэг багцад нэгтгэж, TPU 8i-тэй харьцуулахад тооцоолох хүчин чадал, SRAM санах ой, HBM зурвасын өргөнийг хоёр дахин нэмэгдүүлнэ. Мөн одоогийн тавиурын талбайд хоёр дахин их цахиур багтаадаг тул дата төвүүд нэг квадрат фут, нэг ватт тутамд илүү их тооцоолох хүчин чадал байршуулах боломжтой болно.

Ингэснээр Google-ийн найм дахь үеийн TPU багц сургалтад TPU 8t, бодит цагийн дүгнэлтэд TPU 8i, нууцлалт тооцоололд TPU 8tx, урт контекст ба өндөр нягтралд TPU 8i Max гэсэн дөрвөн системтэй боллоо.

Хөгжүүлэгчдэд нээлттэй болгох алхам

Google-ийн мэдээлснээр TPU одоо фронтир лаборатори, арилжааны фирм, жижиглэн худалдаачид, их сургууль зэрэг 100 орчим харилцагчтай хурдацтай өсөж буй бизнес болжээ. Компани өнгөрсөн сард PyTorch код болон Hugging Face загваруудыг TPU дээр шууд ажиллуулах боломж олгох TorchTPU-г нээлттэй эх болгосон бөгөөд энэ удаад KV кэшийг чипээс гадна шатлалтайгаар хадгалах TPU Sync-ийг нээлттэй эх болгож, Cloud Pathways болон GKE dynamic slicing-ийг бүх хэрэглэгчдэд нээлээ. Энэ алхам нь хиймэл оюуны дүгнэлт (inference)-ийн зах зээлд Nvidia-тай өрсөлдөх Google-ийн хүчин чармайлтын нэг хэсэг юм.

Эх сурвалж: Google, DCD, SiliconANGLE