Nvidia Groq 3 LPX рейкийг бүрэн үйлдвэрлэлд оруулж, бага хоцролттой хиймэл оюуны инференсийн өрсөлдөөнд хурд нэмлээ

Nvidia Даваа гарагт Groq 3 LPX рейк бүрэн үйлдвэрлэлд орсныг зарлаж, түүхэн дэх хамгийн том худалдан авалтынхаа технологийг зах зээлд гаргаснаа онцоллоо. Nvidia 2025 оны арванхоёрдугаар сард чипний стартап Groq-ийн тодорхой хөрөнгийг 20 тэрбум ам.доллараар худалдан авна гэж өмнө нь мэдээлэгдсэн бөгөөд энэ нь хэрэгжвэл компанийн хамгийн том хэлцэл болох юм. Энэ удаагийн үйлдвэрлэлийн мэдэгдэл нь бага хоцролттой хиймэл оюуны инференсийн өрсөлдөөн ширүүсэж буй үед таарлаа.

Groq архитектур нь санах ойн саатлыг багасгахын тулд чипний die дээр 500 мегабайт хурдан SRAM багтааснаар ялгарна. Groq чипийг Samsung үйлдвэрлэдэг бол Nvidia-ийн GPU-ийг Taiwan Semiconductor Manufacturing үйлдвэрлэдэг гэж мэдээлэв. Nvidia 256 ширхэг Groq 3 чипийг нэг LPX рейкт нэгтгэн савладаг бөгөөд секундын 3,400 токен гаргах чадвартай гэж Artificial Analysis-ын бенчмаркаас иш татлаа. Энэ үзүүлэлт нь инференсийн “хурд”-аас гадна хэрэглэгчийн мэдэрдэг хоцролтын тухай яриаг өрнүүлж байна.

Nvidia Groq 3 LPX рейкийг Vera төв процессор болон Rubin график процессортой хамт neocloud Nebius дээр байршуулж, энэ оны сүүлээр онлайн болгоно гэж Nvidia-ийн ахлах захирал Дион Харрис сэтгүүлчдэд хэлсэн. Түүний тайлбарласнаар бага хоцролттой чипүүд нь GPU-ийг орлох биш бөгөөд ачааллын хэсэг бүрт зөв үнэ, зөв процессорыг сонгох тухай асуудал юм. “Энэ нь GPU-ийг орлуулах тухай биш. Ачааллын зөв хэсэгт зөв үнэ, зөв процессорыг ашиглах тухай. Миний дата төвийн үлдсэн хэсэг бүхэлдээ Vera Rubin байдаг,” гэж Харрис хэлэв.

Бага хоцролттой инференс нь хиймэл оюуны агентуудыг хэрэглэгчидэд мэдэгдэхүйц сааталгүй, ялангуяа кодчилолд илүү шуурхай ажиллуулахад улам чухал болж байна. Nvidia-ийн хэлснээр ийм төрлийн токены үйлчилгээ үзүүлдэг үүлэн компаниуд илүү өндөр үнэ тогтоох боломжтой. Үүний цаана хэрэглэгчийн “хариу ирэх хурд”-ыг бүтээгдэхүүний сегментчлэл, үнэлгээтэй шууд холбож буй бодит зах зээлийн тооцоо байна.

Өрсөлдөгч талд Advanced Micro Devices энэ онд Cerebras-ийн чиптэй рейк хэмжээний системүүдээ нэгтгэнэ гэж зарласан бөгөөд Cerebras саяхан IPO хийж, бага хоцролттой инференсэд төвлөж байна. OpenAI шинээр зарласан Ultrafast горимоор секундын 750 токен амлаж, Cerebras-ээр ажилладаг гэж мэдээлэв. Иймэстээ инференсийн хурд, хоцролт хоёр нь зөвхөн техник үзүүлэлт бус, үйлчилгээний ангилал тогтоох шалгуур болж хувирч байна.

Nvidia энэ онд үйлдвэрлэл нь эхэлсэн Vera Rubin системүүдийн нийлүүлэлтээ нэмэгдүүлж байна. Мөн 2026 оны гуравдугаар сард болох танилцуулгын үеэр Nvidia-ийн гүйцэтгэх захирал Женсен Хуан Blackwell болон Vera Rubin системүүдийн 2027 он хүртэлх хуримтлагдсан борлуулалт 1 их наяд ам.долларт хүрнэ гэсэн төсөөллөө танилцуулах төлөвтэй гэж мэдээлсэн. Хуан мөн кодчиллын хэрэглээнд зориулагдах дата төвийн талбайн дөрөвний нэгийг Groq чипүүдэд хуваарилна гэж өмнө нь хэлсэн. Nvidia Лхагва гарагт орлогын тайлангаа танилцуулах бөгөөд токен нийлүүлдэг байгууллагуудад энэ нь хамгийн мэдрэмтгий хоцролт шаарддаг хэрэглэгчдэд зориулсан дээд ангиллын багц санал болгох боломж нээж байна.