Google DeepMind төхөөрөмж дээр ажиллах олон хэлбэрт хайлтын нээлттэй загвар EmbeddingGemma 2-ыг танилцууллаа
740 сая параметртэй EmbeddingGemma 2 загвар нь текст, код, зураг, видео, аудиог нэг embedding орон зайд буулгаж, ухаалаг гар утас зэрэг төхөөрөмж дээр интернэтгүйгээр хайлт, RAG хийх боломж олгоно.

Google DeepMind 10 дугаар сарын 6-нд төхөөрөмж дээр ажиллах олон хэлбэрт (multimodal) embedding загвар болох EmbeddingGemma 2-ыг нээлттэй гаргаснаа Google-ийн албан ёсны блогт зарлалаа. Шинэ загвар нь текст, код, зураг, видео, аудиог нэг нэгдсэн embedding орон зайд буулгадаг бөгөөд жишээлбэл дуут тэмдэглэлээр видео бичлэгийн тодорхой хэсгийг олох, эсвэл текстэн асуулгаар олон цагийн аудио бичлэгээс хайлт хийх боломж олгоно.
Gemma 4 архитектур дээр суурилсан уг загвар 740 сая параметртэй бөгөөд арилжааны хэрэглээг зөвшөөрдөг Apache 2.0 лицензээр түгээгдэж байна. Google-ийн мэдээлснээр өмнөх EmbeddingGemma загварыг 20 саяас олон удаа татаж авсан бөгөөд хөгжүүлэгчид түүгээр төхөөрөмж дээрх хайлтын хэрэгсэл, хувийн мэдээллийг хамгаалсан RAG (retrieval augmented generation) системүүд бүтээжээ.
Загвар модульчлагдсан бүтэцтэй: зөвхөн текстийн ажилд 270 сая параметр хангалттай бөгөөд нэмэлт зургийн (170 сая) болон аудиогийн (300 сая) кодлогчийг шаардлагаар холбож болно. Matryoshka Representation Learning аргаар гаралтын векторыг 768 хэмжээсээс 512, 256 эсвэл 128 хүртэл багасгаж, хадгалах зайг 6 хүртэл дахин хэмнэх боломжтой. Квантчилсан хувилбар нь Google Pixel 11 Pro дээр зөвхөн текстийн жинд ойролцоогоор 191MB, бүрэн олон хэлбэрт загварт 567MB орчим идэвхтэй санах ой шаарддаг. Контекст цонх нь 8,000 токен буюу өмнөх хувилбараас 4 дахин том болсон.
Google-ийн мэдээлснээр EmbeddingGemma 2 нь өмнөх хувилбарын олон хэлний текстийн гүйцэтгэлийг хадгалахын зэрэгцээ MTEB Code шалгуурт 68.76-аас 78.68 оноо болж 9.92 оноогоор ахисан бөгөөд MTEB Code, MAEB зэрэг шалгуурт 1 тэрбумаас бага параметртэй олон хэлбэрт embedding загваруудын дунд тэргүүлэх үр дүн үзүүлжээ. Эдгээр үзүүлэлт компанийн өөрийн үнэлгээнд үндэслэсэн болно.
Загварын жинг Hugging Face, Kaggle-аас татаж авах боломжтой бөгөөд transformers, sentence-transformers, MLX, vLLM, llama.cpp, Ollama зэрэг түгээмэл хэрэгслүүдэд дэмжигдэнэ. Төхөөрөмж дээр байршуулах талаарх дэлгэрэнгүйг Google Developers блог-оос үзэж болно. Embedding-ийг төхөөрөмж дээр үүсгэснээр өгөгдлийн нууцлалыг хангах, хоцролтыг бууруулах, интернэтгүй орчинд хайлт хийх боломжтой болж байгаа юм.
Шинэ мэдээг цахим шуудангаар авах бол бүртгүүлнэ үү.
Холбоотой мэдээ





