قمت ببناء نظام متكامل ومؤتمت بالكامل (Zero-Click Automation System) تم تصميمه لمراقبة وتحليل أسعار المنافسين بشكل يومي أو دوري دون أي تدخل بشري، مع رفع النتائج مباشرة إلى Google Sheets في صورة Dashboard جاهز للمقارنة واتخاذ القرار.
يعتمد النظام على Web Scraping ذكي متعدد المصادر مع محرك مطابقة متقدم للمنتجات، بالإضافة إلى طبقات قوية من الترجمة، مكافحة الحظر، ومعالجة البيانات لضمان أعلى دقة واستقرار في النتائج.
.
.
مراحل عمل النظام ووظائفه الأساسية:
1 - جمع البيانات من Google Sheets
قراءة المنتجات الأساسية (SKU – اسم المنتج – السعر)
تجهيز البيانات كمدخلات ديناميكية لعملية المراقبة
.
2 - Web Scraping متعدد المتاجر
استخراج بيانات المنتجات من عدة متاجر منافسة بشكل متوازي
دعم مواقع مختلفة البنية (Salla / Shopify / Custom Stores / zed)
نظام قابل للتوسع بسهولة بإضافة أي متجر جديد (السيستم الحالي يسحب بيانات من 15 متجر )
.
3 - محرك مطابقة ذكي للمنتجات (AI-like Scoring Engine)
تحليل النصوص باستخدام:
TF-IDF + Cosine Similarity
RapidFuzz (Token Set / Partial / WRatio)
نظام تنظيف متقدم للنصوص (إزالة الكلمات غير المهمة بالعربية والإنجليزية)
دعم تطبيع الأرقام والوحدات (kg / ml / inch)
منع التطابقات الخاطئة عبر Threshold ذكي (Filtering Layer)
.
4 - نظام ترجمة تلقائي
ترجمة أسماء المنتجات إلى الإنجليزية عند الحاجة
استخدام Google Translator API بشكل غير متزامن (Async)
نظام Cache لتقليل التكاليف وتسريع الأداء
.
5 - نظام Anti-Bot & Stealth Advanced
محاكاة سلوك المستخدم الحقيقي (Mouse movements / scrolling)
تغيير User Agents و Viewports بشكل عشوائي
Playwright Stealth + Custom JS Injection
دعم Camoufox لتجاوز Cloudflare والحماية القوية
.
6 - معالجة متوازية عالية الأداء
تنفيذ عمليات scraping باستخدام Asyncio
إدارة concurrency على مستوى:
المنتجات
المتاجر
بحيث يتم فتح اكثر من متصفح في نفس الوقت لكل متجر منفصل
وفتح اكثر من tab لكل منتج في نفس المنتج
تقسيم التنفيذ إلى batches لتقليل الضغط على الشبكات
.
7 - رفع النتائج مباشرة إلى Google Sheets
تحديث لحظي للبيانات داخل جدول موحد
مقارنة تلقائية بين أسعارنا وأسعار المنافسين
تلوين تلقائي للخلية:
🟢 أعلى من سعرنا
🔴 أقل من سعرنا
⚪ مساوي للسعر
.
8 - تحسين شكل البيانات (Google Apps Script Automation)
تحويل الروابط إلى Buttons قابلة للعرض
تحسين عرض الصور والمنتجات
تنظيف الجدول وتنسيقه بصريًا تلقائيًا عبر Triggers
.
9 - تشغيل تلقائي بالكامل (Zero-Click System)
قابل للنشر على:
GitHub Actions
Oracle Cloud Server
تشغيل دوري كل 24 / 48 / 72 ساعة بدون تدخل بشري
نظام resilient مع إعادة المحاولة والتعامل مع الأخطاء
.
-- القيمة المضافة للمشروع:
تحويل عملية متابعة الأسعار من manual إلى fully automated intelligence system
توفير وقت وجهد فرق التسعير بشكل كامل
تحسين قرارات التسعير بناءً على بيانات لحظية من السوق
قابلية توسع ضخمة لدعم أي عدد من المتاجر أو المنتجات
