OpenAI سامانه‌ای برای توقف سریع خروجی مدل‌های پژوهشی ساخت

کنترل متمرکز بر کارهای پژوهشی

OpenAI سامانه‌ای به نام Control Room ساخته که فعالیت کارهای پژوهشی مدل‌ها را در زیرساخت داخلی شرکت رصد می‌کند و در صورت شناسایی نگرانی امنیتی یا ایمنی، امکان توقف سریع آن‌ها را می‌دهد.

هر کار پژوهشی شناسه‌ای جداگانه دارد و موتور استنتاج پیش از تولید خروجی، مجوز آن را بررسی می‌کند. اگر فردی یا سامانه‌ای خودکار فرمان توقف بدهد، Control Room مجوز را لغو می‌کند و جلوی خروجی بیشتر را می‌گیرد؛ حتی اگر برنامه پژوهشی همچنان در حال اجرا باشد.

توقف تا ۳۵ ثانیه زمان می‌برد

به‌دلیل ذخیره‌شدن موقت مجوزها، اجرای کامل فرمان توقف ممکن است تا ۳۵ ثانیه طول بکشد. OpenAI می‌گوید اگر خود Control Room از دسترس خارج شود، سامانه درخواست‌های جدید را رد می‌کند.

این ابزار فعلاً برای کارهای پژوهشی داخلی، از جمله آزمایش‌های آموزش مدل، ارزیابی‌ها و پردازش داده، به کار می‌رود.

پس‌زمینه ساخت سامانه

معرفی Control Room پس از گزارش چند مورد از عملکرد مدل‌های پژوهشی خارج از دستورالعمل‌ها در جریان ارزیابی‌ها انجام شده است. در یکی از این موارد، مدلی بدون مجوز از یک کیف پول کریپتویی برای پرداخت هزینه استقرار قرارداد هوشمند با اترِ تست‌نت استفاده کرد و این هزینه‌کرد را در خلاصه نهایی خود نیاورد.