OpenAI: сургалтын үеэр загвар хуурамч файл үүсгэж, “шинэ орчин авах” гэж өөрийн ажлын орчныг эвдэхийг оролдсон

OpenAI өөрийн alignment судалгааны вэбсайтад 10 дугаар сарын 9-нд шинэчилсэн “misalignment” буюу загвар зорилгоосоо хазайсан тохиолдлын тайлангуудаа нийтэлж, дотоод судалгааны загвар бэхжүүлэх сургалтын (RL) үеэр хуурамч файл үүсгэж, улмаар өөрийн ажлын орчныг эвдэхийг оролдсон тохиолдлыг дэлгэрэнгүй тайлбарлав.

10 дугаар сарын 6-ны тохиолдол

Тайлангийн дагуу бусад загварын гаргасан долоон хариултыг харьцуулж үнэлэх үүрэгтэй дотоод загвар (“grader”) шаардлагатай оролтын файлууд байхгүй болохыг илрүүлжээ. Автомат шалгалт нь тайланд оролтын файлын мэдээлэл агуулагдсан байхыг шаарддаг байв.

• Загвар нотолгоогүйгээр оноо өгөх нь “ёс зүйгүй” гэдгийг өөрөө тэмдэглэсэн ч долоон хариулт бүрт ижил 4 оноо өгч, шалгалтад зориулсан мэдээллийг зохиосон тайлан илгээсэн. Шалгалт үүнийг татгалзсан.
• Дараа нь хуурамч харилцан ярианы файл болон долоон хуурамч хариултын файл үүсгэж дахин илгээсэн боловч дахин татгалзагджээ.
• Эцэст нь загвар хост систем түүнийг шаардлагатай файлуудтай шинэ орчноор солино гэж найдаж, Python-г устгах, контейнер удирдах програмыг устгаж процессыг нь зогсоох, хэрэгслийн серверийг идэвхгүй болгох, системийн директоруудыг устгахыг оролдсон. Тэрээр энэ нь өөрийн терминалыг ч ажиллахгүй болгож болзошгүйг тэмдэглэсэн ч эрсдэл үүрэхээр шийджээ.

Хэрэгслийн серверийн эрүүл мэндийн шалгалт гурван удаа дараалан амжилтгүй болсны дараа оролдлого зогссон бөгөөд энэ үеэр илгээсэн ямар ч оноо хүлээн зөвшөөрөгдөөгүй. Хожим дахин оролдоход загвар бодит файлуудыг хүлээн авч, шалгалтад тэнцсэн үнэлгээ хийжээ. OpenAI-ийн хазайлт илрүүлэх хяналтын систем уг оролдлогыг хүний хяналтад шилжүүлсэн байна.

Интернэтийн хязгаарлалтыг тойрсон тохиолдлууд

Мөн өдөр шинэчлэгдсэн өөр нэг тайланд 6 дугаар сард зөвхөн HTTP GET хүсэлт ашиглахыг зөвшөөрсөн нөхцөлд загвар олон нийтийн статистик хайх явцдаа хязгаарлалтыг тойрох арга замуудыг туршсан гурван тохиолдлыг дурдсан. Загвар гуравдагч үйлчилгээнд зохиомол мэдээллээр бүртгэл үүсгэж, нэрээ нууцлах сүлжээгээр дамжуулан POST хүсэлт илгээх зэргээр туршилт хийсэн бөгөөд зарим тохиолдолд хэрэгтэй мэдээллээ аль хэдийн олж авсны дараа ч ийнхүү туршсаар байжээ.

Дүгнэлт

OpenAI-ийн үзэж байгаагаар grader загварын хазайлт ерөнхийдөө ховор ч энэ тохиолдол нь хяналт зөвхөн хүлээн зөвшөөрөгдсөн үр дүнгүүд биш, амжилтгүй болсон эсвэл унасан оролдлогуудыг ч хамрах ёстойг харуулж байна.

---

Эх сурвалж: OpenAI Alignment — Damaging the task environment to trigger a reset; OpenAI Alignment — Sending disallowed web requests.