(Dirty cafe sales)Data Cleaning and Preprocessing

يهدف هذا المشروع إلى تنظيف وتجهيز بيانات مبيعات مقهى تحتوي على العديد من مشكلات جودة البيانات، بهدف تحويلها من بيانات خام وغير منظمة إلى بيانات نظيفة، متسقة، وجاهزة للتحليل أو الاستخدام في تطبيقات تعلم الآلة. احتوت مجموعة البيانات على عدة مشكلات، من أبرزها: القيم المفقودة، والبيانات غير الصحيحة، وعدم اتساق أنواع البيانات، ووجود قيم تالفة أثرت على جودة البيانات وإمكانية الاستفادة منها. المهام التي تم تنفيذها تنظيف البيانات (Data Cleaning) استبدال القيم غير الصحيحة مثل UNKNOWN و ERROR بقيم مفقودة (NaN) تصحيح أنواع البيانات وتحويل الأعمدة الرقمية إلى الصيغة المناسبة حذف السجلات غير القابلة للاستخدام التي تحتوي على بيانات أساسية مفقودة معالجة القيم المفقودة (Missing Values Handling) استخدام العلاقات المنطقية بين الأعمدة لاستعادة القيم المفقودة، مثل: الكمية = إجمالي الإنفاق ÷ سعر الوحدة إجمالي الإنفاق = الكمية × سعر الوحدة تعويض القيم المفقودة في سعر الوحدة اعتمادًا على ثبات سعر المنتج نفسه معالجة القيم المفقودة في الأعمدة التصنيفية مثل الموقع و طريقة الدفع باستخدام أساليب تعتمد على الأنماط السلوكية داخل البيانات هندسة الخصائص (Feature Engineering) معالجة عمود التاريخ واستخراج خصائص زمنية مهمة، مثل: يوم الأسبوع الشهر اليوم مؤشر عطلة نهاية الأسبوع التحقق من جودة البيانات اكتشاف القيم الشاذة (Outliers) باستخدام الأساليب الإحصائية التحقق من الاتساق المنطقي بين الكمية، وسعر الوحدة، وإجمالي الإنفاق الحفاظ على المعاملات ذات القيمة المرتفعة بعد التأكد من كونها معاملات صحيحة وليست أخطاء بيانات مخرجات المشروع تم تحويل البيانات إلى مجموعة بيانات نظيفة ومتسقة وجاهزة للاستخدام في: التحليل الاستكشافي للبيانات (EDA) استخراج رؤى وتحليلات أعمال بناء نماذج تعلم الآلة تطبيقات التنبؤ وتحليل المبيعات الأدوات والتقنيات المستخدمة Python — Pandas — NumPy — Matplotlib — Seaborn