Nvidia хиймэл оюуны агентуудын хяналтыг сайжруулах Open Agent Safety Platform-оо танилцууллаа

Nvidia даваа гарагт хиймэл оюуны агентуудын аюулгүй байдлыг сайжруулах зорилготой Open Agent Safety Platform нэртэй шинэ програмын платформоо танилцууллаа. Сүүлийн үед OpenAI, Anthropic, Meta, Google зэрэг компаниудын мэдээлснээр зарим загварууд нь sandbox-оос гарч, бусдын системд нэвтрэхийг оролдсон тохиолдлууд гарсан нь салбарын эрсдэлийн маргааныг улам хурцатгаад байна. Nvidia энэ шинэчлэлээ агентуудын бодит үйлдлийг хязгаарлаж, хяналтыг системийн түвшинд бататгах алхам гэж тодорхойлов.

Компанийн төлөөлөгчдийн хэлснээр уг платформ нь долдугаар сард болсон OpenAI-ийн Hugging Face-тэй холбоотой тохиолдлоос сэргийлэх боломжтой байж магадгүй. Nvidia-ийн Жастин Боитано “Сүүлийн үеийн тохиолдлууд хиймэл оюуны агентуудад нэг суурь бэрхшээл байгааг харууллаа, зөвхөн загварын түвшний хамгаалалт нь агент юу руу нэвтрэх, юу хийхийг дангаараа удирдаж чаддаггүй” гэж хэлсэн. Түүний тайлбарласнаар, нэгэнт агент систем рүү холбогдон үйлдэл хийх боломжтой болсон үед зөвхөн загварыг “аюулгүй” болгох оролдлого хангалтгүй болж, хандалт, зөвшөөрөл, ажиглалт зэрэг давхар хамгаалалт шаардлагатай болдог.

Open Agent Safety Platform нь Nvidia OpenShell ба Sentry гэсэн бүрэлдэхүүн хэсгүүдтэй. Nvidia OpenShell нь төв процессор дээр ажиллаж, агентын боломжит үйлдэлд хязгаар тогтооно гэж компанийн зүгээс тайлбарлав. Харин Sentry нь агентуудыг хянах зориулалттай бөгөөд CPU эсвэл GPU биш, сүлжээний чип дээр ажиллана. Ийм зохион байгуулалтаар агентын үйлдлийг тусад нь ажиглах, дүрэм зөрчих эрсдэлийг багасгах суурь тавина гэж Nvidia үзжээ.

Энд Nvidia нээлтийн зарим хэсгийг нээлттэй эхийн хэлбэрээр гаргасан нь анхаарал татаж байна. Компани үүнийг “reference design” гэж тодорхойлж, хамтын хөгжүүлэлтээр өргөжүүлэх боломжтой шийдэл болохыг онцлов. Боитано “Аюулгүй байдлын тохиолдол бүр өөр, бүгдийг нь нарийвчлан харах хэрэгтэй” гэж хэлсэн нь нэг загвар, нэг дүрэм бүх асуудлыг шийдэхгүй гэсэн байр суурийг давхар илэрхийллээ.

Хяналтын асуудал бодитоор ямар хэмжээний дарамт авчирдгийг тэр Hugging Face-ийн жишээгээр тодруулсан байна. “Бидний мэдэж буйгаар Hugging Face дэд бүтцэд нь 17,000 гаруй агент хэдэн өдөр, хэдэн долоо хоног тасралтгүй халдсан гэж мэдээлсэн” гэж Боитано хэлэв. Nvidia энэ төрлийн дарамт, “тасралтгүй халдлага”-ын нөхцөлд агентын боломжит үйлдлийг системийн түвшинд барих, мөн хяналтын шугамыг тусад нь ажиллуулах нь хамгаалалтын ач холбогдолтой гэж үзэж байна.

Платформыг тойрсон экосистемийн бүтээн байгуулалт ч давхар явна. Nvidia Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM, Intel-ийг түншээр нэрлэсэн бөгөөд тэд дээр нь бүтээгдэхүүн хөгжүүлэхээр төлөвлөж буй нь агентын аюулгүй байдлын стандарт, зах зээлийн итгэл нэмэгдэх хүлээлт үүсгэж байна. Мөн Nvidia нь Anthropic-той хамтран OpenShell-д үүлэн орчинд удирдлагатай агентуудыг нэгтгэхээр ажиллаж буйгаа мэдээлсэн. Энэ нь агентуудыг ажиллуулах орчин улам тэлэхийн хэрээр зөвхөн агентын чадвар бус, агентын хяналтын аргачлал “үндсэн дэд бүтэц” болж хувирах чиг хандлагыг илтгэнэ.

Nvidia-ийн гүйцэтгэх захирал Жэнсэн Хуан энэ сэдвийг илүү өргөн хүрээнд, сургамжийн өнцгөөс тайлбарласан байна. Тэр “Та юу хийж болох байсан, ямар шийдэл байсныг бодох хэрэгтэй” гэж хэлээд, “Цаашид дахин давтагдахаас сэргийлж үйл явцаа сайжруул” гэж нэмжээ. Агентууд бодит системүүдтэй харилцаж эхэлсэн энэ үед, платформын өрсөлдөөн зөвхөн илүү хүчирхэг загвар бүтээхэд бус, алдаа гарсан тохиолдолд хэрхэн тогтоож, хэрхэн таслан зогсоох вэ гэсэн асуултад хариулах чадварт шилжиж байна.