دقیقاً چه کاری باید انجام شود؟
توسعه API اختصاصی برای استخراج قیمت و لیست فروشندگان ترب (با قابلیت مدیریت خطای ۴۹۰، کپچا و Anti-bot)
سلام.
ما به یک توسعه‌دهنده مسلط (ترجیحاً با تجربه در وب اسکریپینگ، دور زدن محدودیت‌ها و کار با پایتون/Node.js) نیاز داریم تا یک سرویس یا API اختصاصی برای ما پیاده‌سازی کند.
هدف این است که ما بتوانیم با ارسال یک درخواست HTTP (شامل لینک محصول ترب یا شناسه محصول - PRK)، اطلاعات کامل فروشندگان، قیمت‌ها و وضعیت اعتبار قیمت را به صورت یک خروجی JSON تمیز دریافت کنیم.
جزئیات فنی و نیازمندی‌ها: ورودی API: لینک محصول در ترب یا شناسه‌های مربوطه (مثل prk).
خروجی API (JSON):
نام محصول، حداقل و حداکثر قیمت.
لیست کامل فروشندگان به همراه: نام فروشگاه، قیمت، لینک خرید مستقیم، امتیاز فروشگاه، وضعیت تخفیف/تبلیغ و تاریخ آخرین تغییر قیمت.
مشخص کردن فلگ معتبر بودن قیمت (is_price_unreliable یا فیلترهای مشابه).
حجم درخواست‌ها: روزانه حدود ۳۰۰ درخواست به این API ارسال خواهد شد.
⚠️ بخش بسیار مهم و چالش اصلی پروژه (مدیریت خطاها و بن شدن): سایت ترب دارای سیستم‌های امنیتی و ضد ربات (Bot Detection) بسیار قوی است.
در حال حاضر وقتی درخواست‌های خودکار یا رگباری سمت ترب فرستاده می‌شود، بعد از مدتی سرویس ترب دسترسی را مسدود کرده و به جای پاسخ JSON، یک صفحه HTML حاوی خطای وضعیت ۴۹۰ و صفحه کپچا (Arcaptcha / Cloudflare) برمی‌گرداند که باعث کرش کردن اتوماسیون ما می‌شود (نمونه خطای دریافتی: Unexpected token '<', "<!DOCTYPE ...
is not valid JSON").
فریلنسر عزیز باید راهکاری برای این مسئله پیاده‌سازی کند، از جمله:
مدیریت هوشمند خطاها (Catch کردن خطای ۴۹۰ و پاسخ‌های HTML).
پیاده‌سازی مکانیزم‌های جلوگیری از بن شدن (استفاده از سیستم چرخش پروکسی - Rotating Proxies، ست کردن دقیق هدرهای مرورگر، و اعمال تاخیرهای تصادفی بین درخواست‌ها).
در صورت برخورد با کپچا یا بلاک، سیستم باید پایداری خود را حفظ کند و از لوپ‌های مخرب جلوگیری شود.
مهارت‌های مورد نیاز: تسلط کامل بر پایتون (Python) یا Node.js
تجربه در وب اسکریپینگ و کار با APIهای داخلی سایت‌های ایرانی
تسلط بر دور زدن محدودیت‌های امنیتی (Anti-bot)، مدیریت پروکسی و هندل کردن خطای ۴۹۰ و کپچا
توانایی تحویل کد تمیز، مستند و قابل اجرا (ترجیحاً به صورت داکرایز شده یا آماده برای اجرا روی سرور)
لطفاً در پیشنهادتان ذکر کنید که چه راهکاری برای دور زدن محدودیت‌ها و مدیریت خطای ۴۹۰/کپچای ترب پیشنهاد می‌دهید و تخمین زمان و هزینه خود را بفرمایید.