أداة متكاملة لاستخراج وتنظيف وتحليل بيانات اللابتوبات من مواقع التجارة الإلكترونية
تفاصيل العمل
قمت بتطوير مشروع متكامل لاستخراج ومعالجة بيانات اللابتوبات من عدة مواقع تجارة إلكترونية مختلفة، بهدف إنشاء Dataset نظيفة وموحدة يمكن استخدامها في تحليل البيانات أو تطبيقات المقارنة بين الأسعار. يشمل المشروع: 1. Web Scraping باستخدام Selenium لاستخراج البيانات من: * Amazon Egypt * Jumia Egypt * Noon Egypt 2. استخراج بيانات المنتجات بشكل آلي مثل: * اسم المنتج * السعر * التقييمات وعدد المراجعات * المعالج (Processor) * الرام (RAM) * التخزين (Storage) * كرت الشاشة (GPU) * حجم الشاشة * الصور وروابط المنتجات 3. بناء Pipeline احترافية لتنظيف البيانات (Data Cleaning & ETL) باستخدام Python و Pandas تضمنت: * تنظيف الأسعار وتحويلها لصيغة رقمية * معالجة القيم المفقودة * تصحيح أخطاء استخراج الرام والتخزين * استخراج المواصفات تلقائياً باستخدام Regex * توحيد أسماء المعالجات وكروت الشاشة * إزالة المنتجات المكررة بين المواقع المختلفة * تجهيز البيانات النهائية بصيغة قابلة للتحليل والاستخدام 4. إنشاء Dataset نهائية منظمة وجاهزة لمشاريع: * Data Analysis * Price Comparison Systems * Machine Learning * Business Intelligence Dashboards التقنيات المستخدمة: Python — Selenium — Pandas — NumPy — Regex — Jupyter Notebook — CSV Processing — Data Cleaning — ETL
بطاقة العمل
طلب عمل مماثل