دقیقاً چه کاری باید انجام شود؟
ما به یک متخصص ارشد (Senior Developer / Domain Expert) نیاز داریم تا یک چالش ترمینالی دشوار و واقع‌گرایانه برای ارزیابی پیشرفته‌ترین مدل‌های هوش مصنوعی (AI Agents) طراحی کند.
این تسک باید یک سناریوی مهندسی در سطح دنیای واقعی باشد که حل آن نیاز به استدلال چندمرحله‌ای، کاوش و دانش تخصصی دارد.
پروژه باید در بستر کانتینرهای Docker بسته بندی شده و دارای یک سیستم ارزیاب خودکار (Verifier) کاملاً قطعی باشد.
این پروژه بر اساس استانداردهای دقیق پلتفرم Project Insight / Terminal-Bench 3 انجام می‌شود.
مراحل و وظایف اصلی (Scope of Work):
فاز ۱: نگارش و تایید پروپوزال (Proposal) پیش از هرگونه کدنویسی، فریلنسر باید یک پروپوزال کوتاه (به زبان انگلیسی) تدوین کند که شامل موارد زیر باشد:
Difficulty: چرا این تسک برای یک انسان متخصص سخت است و چرا هوش مصنوعی در آن به مشکل می‌خورد؟ (نیاز به استدلال‌های تخصصی، نه فقط حجم زیاد کار).
Approach: ایده محوری و روش حل دقیق مسئله چیست؟
Verification: خروجی دقیقاً چیست و سیستم ارزیاب چگونه صحت آن را بدون بررسی کدهای نوشته شده (فقط از روی نتیجه) تایید می‌کند؟
نکته: کدنویسی تنها پس از تایید این پروپوزال توسط پلتفرم آغاز خواهد شد.
فاز ۲: پیاده‌سازی محیط و فایل‌های اصلی (Implementation) پس از تایید پروپوزال، فریلنسر باید ساختار زیر را به صورت کامل و بدون نقص توسعه دهد:
instruction.md: صورت‌مسئله به زبان طبیعی و بدون هیچ‌گونه راهنمایی یا اشاره به روش حل (کمتر از ۱۵۰۰ توکن).
task.toml: فایل پیکربندی شامل متادیتا، دسته‌بندی، منابع سخت‌افزاری لازم (CPU/RAM) و زمان‌بندی‌ها.
environment/Dockerfile: ایمیج کانتینر عامل هوش مصنوعی که حاوی تمام ابزارها و دیتای اولیه است (بدون لو رفتن راه‌حل).
solution/solve.sh (Oracle): راه‌حل مرجع و کامل فریلنسر که نشان می‌دهد این چالش به صورت ۱۰۰٪ قابل حل است.
tests/: توسعه فایل‌های test.sh و test_outputs.py (با استفاده از Pytest) و tests/Dockerfile برای اجرای ایزوله ارزیاب.
ارزیاب باید صرفاً خروجی نهایی را بسنجد و نمره قطعی 0 یا 1 بدهد.
فاز ۳: اعتبارسنجی محلی و تحویل نهایی (Local Validation & PR) پیش از تحویل نهایی، فریلنسر موظف است تست‌های زیر را در سیستم خود (با ابزار Harbor) با موفقیت پاس کند:
اجرای Oracle: راه‌حل مرجع باید به درستی کار کرده و از ارزیاب نمره ۱.۰ بگیرد.
اجرای Nop: اجرای محیط بدون هیچ اقدامی، باید نمره کمتر از ۱ بگیرد تا مشخص شود سیستم ارزیاب به اشتباه نمره قبولی نمی‌دهد.
ارسال خروجی‌ها به صورت یک Pull Request روی مخزن گیت‌هاب ما و رفع خطاهای احتمالی در سیستم CI/CD پلتفرم.
الزامات و مهارت‌های مورد نیاز:
تجربه Senior در مهندسی نرم‌افزار، زیرساخت، امنیت یا علوم داده.
تسلط کامل به لینوکس، Bash Scripting و Python.
تسلط پیشرفته به Docker (نوشتن Multi-stage builds و مدیریت وابستگی‌ها).
تسلط به اصول تست‌نویسی خودکار (Automated Testing / Pytest) و طراحی تست‌های غیرقابل تقلب (Deterministic Verifiers).
تسلط کامل به زبان انگلیسی برای نگارش پروپوزال و صورت‌مسئله.
شرایط پرداخت (Milestones): این پروژه به صورت مرحله‌ای یک مرحله ای و درصورت تایید تمام مراحل زیر پرداخت خواهد شد:
مرحله اول : تدوین پروپوزال و تایید آن توسط سیستم اتوماتیک پلتفرم.
مرحله دوم : تحویل کامل کدهای داکر، راه‌حل مرجع و فایل‌های تست + پاس شدن تست‌های لوکال (Oracle=1 و Nop=0).
مرحله سوم : ارسال Pull Request، عبور موفقیت‌آمیز از فیلتر مدل‌های هوش مصنوعی (Pass@2 - که اثبات می‌کند تسک بیش از حد آسان نیست) و تایید و Merge نهایی در پلتفرم و تایید انسانی نهایی توسط کارفرما.
لطفاً در زمان ارسال پیشنهاد، مختصری از ایده خود برای یک چالش سخت (Task Idea) که قابل ارزیابی قطعی باشد را بیان کنید.