بناء مسار بيانات آلي بالكامل (Data Pipeline) لتحليل أسعار الأسهم في الوقت الفعلي
تفاصيل العمل
قمت بتصميم وتطوير مسار بيانات متكامل وآلي (End-to-End Data Pipeline) لاستخراج وتحليل بيانات أسعار الأسهم في الوقت الفعلي. يعتمد المشروع على سحب بيانات السوق ديناميكياً عبر واجهة برمجة التطبيقات (Yahoo Finance API)، ثم معالجتها وتحويلها باستخدام (Apache Spark) للتعامل مع البيانات الضخمة. يتم تخزين البيانات الأولية والنهائية في (MinIO Object Storage)، ثم تُحمل البيانات المنظفة والمهيكلة إلى مستودع بيانات (PostgreSQL). ولضمان سهولة قراءة البيانات واتخاذ القرارات، قمت بربط المستودع بأداة (Metabase) لإنشاء لوحات تحكم تفاعلية لاستخراج الرؤى. بالإضافة إلى ذلك، تم أتمتة النظام بالكامل ليرسل إشعارات فورية عبر (Slack) فور اكتمال عمليات معالجة البيانات.
مهارات العمل
بطاقة العمل
طلب عمل مماثل
