egov.mn

Nvidia Groq 3 LPX рейкийг бүрэн үйлдвэрлэлд оруулж, бага хоцролттой хиймэл оюуны инференсийн өрсөлдөөнд хурд нэмлээ

Nvidia Groq 3 LPX рейкийг бүрэн үйлдвэрлэлд оруулж, хиймэл оюуны инференсийг хурдлуулах алхам хийлээ LPX рейк 256 Groq 3 чиптэй бөгөөд секундын 3,400 токены гүйцэтгэлийг Artificial Analysis-ын жишгээр мэдээлэв Ингэснээр үүлэн үйлчилгээний өндөр үнэтэй багц нэмэгдэж, кодчиллын хэрэглээнд өрсөлдөх давуу тал өргөжинө

Энэ мэдээг программ автоматаар бэлтгэсэн.

Photo: Tom's Hardware
Photo: Tom's Hardware

Nvidia Даваа гарагт Groq 3 LPX рейк бүрэн үйлдвэрлэлд орсныг зарлаж, түүхэн дэх хамгийн том худалдан авалтынхаа технологийг зах зээлд гаргаснаа онцоллоо. Nvidia 2025 оны арванхоёрдугаар сард чипний стартап Groq-ийн тодорхой хөрөнгийг 20 тэрбум ам.доллараар худалдан авна гэж өмнө нь мэдээлэгдсэн бөгөөд энэ нь хэрэгжвэл компанийн хамгийн том хэлцэл болох юм. Энэ удаагийн үйлдвэрлэлийн мэдэгдэл нь бага хоцролттой хиймэл оюуны инференсийн өрсөлдөөн ширүүсэж буй үед таарлаа.

Groq архитектур нь санах ойн саатлыг багасгахын тулд чипний die дээр 500 мегабайт хурдан SRAM багтааснаар ялгарна. Groq чипийг Samsung үйлдвэрлэдэг бол Nvidia-ийн GPU-ийг Taiwan Semiconductor Manufacturing үйлдвэрлэдэг гэж мэдээлэв. Nvidia 256 ширхэг Groq 3 чипийг нэг LPX рейкт нэгтгэн савладаг бөгөөд секундын 3,400 токен гаргах чадвартай гэж Artificial Analysis-ын бенчмаркаас иш татлаа. Энэ үзүүлэлт нь инференсийн “хурд”-аас гадна хэрэглэгчийн мэдэрдэг хоцролтын тухай яриаг өрнүүлж байна.

Nvidia Groq 3 LPX рейкийг Vera төв процессор болон Rubin график процессортой хамт neocloud Nebius дээр байршуулж, энэ оны сүүлээр онлайн болгоно гэж Nvidia-ийн ахлах захирал Дион Харрис сэтгүүлчдэд хэлсэн. Түүний тайлбарласнаар бага хоцролттой чипүүд нь GPU-ийг орлох биш бөгөөд ачааллын хэсэг бүрт зөв үнэ, зөв процессорыг сонгох тухай асуудал юм. “Энэ нь GPU-ийг орлуулах тухай биш. Ачааллын зөв хэсэгт зөв үнэ, зөв процессорыг ашиглах тухай. Миний дата төвийн үлдсэн хэсэг бүхэлдээ Vera Rubin байдаг,” гэж Харрис хэлэв.

Бага хоцролттой инференс нь хиймэл оюуны агентуудыг хэрэглэгчидэд мэдэгдэхүйц сааталгүй, ялангуяа кодчилолд илүү шуурхай ажиллуулахад улам чухал болж байна. Nvidia-ийн хэлснээр ийм төрлийн токены үйлчилгээ үзүүлдэг үүлэн компаниуд илүү өндөр үнэ тогтоох боломжтой. Үүний цаана хэрэглэгчийн “хариу ирэх хурд”-ыг бүтээгдэхүүний сегментчлэл, үнэлгээтэй шууд холбож буй бодит зах зээлийн тооцоо байна.

Өрсөлдөгч талд Advanced Micro Devices энэ онд Cerebras-ийн чиптэй рейк хэмжээний системүүдээ нэгтгэнэ гэж зарласан бөгөөд Cerebras саяхан IPO хийж, бага хоцролттой инференсэд төвлөж байна. OpenAI шинээр зарласан Ultrafast горимоор секундын 750 токен амлаж, Cerebras-ээр ажилладаг гэж мэдээлэв. Иймэстээ инференсийн хурд, хоцролт хоёр нь зөвхөн техник үзүүлэлт бус, үйлчилгээний ангилал тогтоох шалгуур болж хувирч байна.

Nvidia энэ онд үйлдвэрлэл нь эхэлсэн Vera Rubin системүүдийн нийлүүлэлтээ нэмэгдүүлж байна. Мөн 2026 оны гуравдугаар сард болох танилцуулгын үеэр Nvidia-ийн гүйцэтгэх захирал Женсен Хуан Blackwell болон Vera Rubin системүүдийн 2027 он хүртэлх хуримтлагдсан борлуулалт 1 их наяд ам.долларт хүрнэ гэсэн төсөөллөө танилцуулах төлөвтэй гэж мэдээлсэн. Хуан мөн кодчиллын хэрэглээнд зориулагдах дата төвийн талбайн дөрөвний нэгийг Groq чипүүдэд хуваарилна гэж өмнө нь хэлсэн. Nvidia Лхагва гарагт орлогын тайлангаа танилцуулах бөгөөд токен нийлүүлдэг байгууллагуудад энэ нь хамгийн мэдрэмтгий хоцролт шаарддаг хэрэглэгчдэд зориулсан дээд ангиллын багц санал болгох боломж нээж байна.

Хуваалцах
Дараагийн мэдээMicron-ийн Бойс дахь шинэ үйлдвэрүүд АНУ-ын санах ойн чипийн нийлүүлэлтийг өөрчилж болзошгүй хугацаатай уралдаан эхлүүллээ
Мэдээллийн захиалга

Шинэ мэдээг цахим шуудангаар авах бол бүртгүүлнэ үү.

Холбоотой мэдээ

Технологи

Супермаркетын хөргүүрээс зорчигчийн нислэг хүртэл Европын хамгаалалт кибер заналхийлэлд соригдож байна

ТехнологиАвтомат

2 мин уншихАвтомат

DeepMind Institute-ийн “What comes after AGI?” эссэгийн нүүр зураг, Тим Геневайн
Технологи

Google DeepMind ерөнхий хиймэл оюунаас супер оюун ухаан руу хүрэх дөрвөн замыг тодорхойллоо

ТехнологиАвтомат

2 мин уншихАвтомат

“Pharmaceutical Development” болон “AI Artificial Intelligence” гэсэн бичгийн өмнө байрлуулсан роботын дүрс
Технологи

Дэлхийн томоохон эм үйлдвэрлэгчид хиймэл оюун эм нээх эхний шатны хугацааг хоёр дахин хүртэл богиносгож байна гэв

ТехнологиАвтомат

2 мин уншихАвтомат

Хятадын төрийн далбаанууд болон хэлхээний самбарын өмнө байрлуулсан Nvidia-гийн лого бүхий ухаалаг утас
Технологи

АНУ-ын хиймэл оюуны чипийн хязгаарлалт Хятадын технологийн хувьцааг унагаж, Alibaba 20 гигаваттын зорилтоо бууруулж магадгүй гэв

ТехнологиАвтомат

2 мин уншихАвтомат

АНУ-ын Ерөнхийлөгч Дональд Трамп, Хятадын дарга Си Жиньпин нарын тэргүүлсэн төлөөлөгчид хоёр талын хэлэлцээ хийж буй архивын зураг
Технологи

Трамп, Си Жиньпин нар цэргийн томоохон шийдвэрт хиймэл оюуныг хүний оролцоогүйгээр ашиглахгүй байхаар тохирсон гэж Бессент мэдэгдэв

ТехнологиАвтомат

2 мин уншихАвтомат