دقیقاً چه کاری باید انجام شود؟
ما در حال توسعه یک محصول SaaS در حوزه AI-Powered Competitive Intelligence هستیم.
هدف این است که وب‌سایت رقبا را به‌صورت خودکار بررسی کند و به جای ارائه صرفاً HTML خام، اطلاعات مهم و معنایی صفحات را استخراج و به شکل JSON ساختاریافته برگرداند.
در این مرحله، ما به دنبال توسعه هسته اصلی استخراج اطلاعات هستیم و نیازی به طراحی Frontend یا توسعه کامل محصول نداریم.
وظیفه اصلی
سیستم باید یک URL دریافت کند:
صفحه را با استفاده از Browser Automation مانند Playwright باز کرده و در صورت نیاز JavaScript آن را اجرا کند، سپس محتوای صفحه را تحلیل کرده و موارد زیر را انجام دهد:
URL Browser Rendering DOM Extraction HTML Cleaning Page Classification Semantic Extraction Validation Structured JSON خروجی مورد انتظار
سیستم باید بتواند نوع صفحه را تشخیص دهد، برای مثال:
Homepage Pricing Product Features Blog Changelog Documentation Comparison Other
سپس بر اساس نوع صفحه، اطلاعات مهم آن را استخراج کند.
برای مثال اگر صفحه Pricing باشد:
{ "page_type": "pricing", "plans": [ { "name": "Professional", "price": { "amount": 49, "currency": "USD", "period": "month" }, "description": "For growing teams", "cta": "Start Free Trial" } ] }
در کنار داده استخراج‌شده، وجود evidence و confidence score نیز برای ما مهم است؛ به‌عنوان مثال:
{ "type": "pricing_plan", "name": "Professional", "price": { "amount": 49, "currency": "USD", "period": "month" }, "evidence": { "price": "$49", "period": "per month", "cta": "Start Free Trial" }, "confidence": 0.98 } نکته مهم پروژه
ما نمی‌خواهیم یک scraper معمولی مبتنی بر selectorهای ثابت مانند:
#pricing .pricing-card .plan-price
بسازیم؛ چون سیستم باید بتواند با وب‌سایت‌های مختلف و ساختارهای HTML متفاوت کار کند.
به همین دلیل تمرکز پروژه روی Semantic Web Extraction / Adaptive Web Extraction است.
برای مثال، اگر دو سایت مختلف ساختار HTML کاملاً متفاوتی داشته باشند، سیستم باید بتواند در هر دو سایت مفهوم زیر را تشخیص دهد:
Plan > Professional Price > $49 Billing Period > Monthly CTA > Start Free Trial تکنولوژی‌های پیشنهادی
تجربه با موارد زیر بسیار مهم است:
Python Playwright BeautifulSoup / lxml FastAPI Pydantic LLM APIs Prompt Engineering / Structured Output JSON Schema Web Scraping / Web Crawling DOM processing HTML parsing
آشنایی با PostgreSQL و Redis مزیت محسوب می‌شود، ولی برای این بخش الزامی نیست.
نکته فنی مهم
ما قصد نداریم کل HTML را بدون پردازش در اختیار LLM قرار دهیم و از آن بخواهیم JSON تولید کند.
رویکرد موردنظر ما چیزی نزدیک به این است:
Raw HTML DOM Cleaning Semantic HTML / Relevant Content Rule-based Extraction LLM-assisted Extraction (when needed) Schema Validation JSON
بنابراین توانایی طراحی یک سیستم ترکیبی Rule-based + AI-based برای ما بسیار مهم است.
محدوده پروژه
در این مرحله تمرکز فقط روی Backend/AI Engine است.
موارد زیر در Scope این پروژه نیستند:
طراحی Dashboard Frontend Authentication Landing Page پنل کاربری
خروجی اصلی باید یک سرویس/API یا ماژول قابل استفاده باشد که بتوانیم به آن URL بدهیم و JSON استاندارد دریافت کنیم.
معیار موفقیت پروژه
سیستم باید بتواند روی چندین وب‌سایت واقعی با ساختارهای متفاوت تست شود و بدون وابستگی شدید به class/idهای اختصاصی هر سایت، اطلاعات معنایی مهم را استخراج کند.
به‌خصوص برای صفحات Pricing انتظار داریم مواردی مانند:
نام Plan قیمت Currency Billing Period Description Features CTA Free/Trial information
با دقت مناسب استخراج شوند.
همکاری
در صورتی که همکاری اولیه موفق باشد، امکان ادامه همکاری در مراحل بعدی پروژه نیز وجود دارد؛ از جمله:
Semantic Diff Engine Competitor Change Detection AI Analysis Competitive Intelligence توسعه API و زیرساخت Crawler
لطفاً در پیشنهاد خود ارسال کنید: نمونه پروژه‌های مشابه در زمینه Web Scraping / AI / LLM تجربه شما با Playwright تجربه کار با LLM و Structured JSON Output پیشنهاد معماری فنی برای این پروژه زمان تقریبی انجام نسخه اولیه هزینه پیشنهادی در صورت امکان GitHub یا نمونه کد مرتبط
نکته: لطفاً در پیشنهاد خود صرفاً به تجربه کلی در زمینه AI اکتفا نکنید.
تجربه عملی در Web Crawling + DOM Processing + Semantic Extraction + LLM برای این پروژه اهمیت زیادی دارد.