مهندس منصة البيانات السحابية

يعمل موظفونا في مجموعة متنوعة من المشاريع لحل أصعب مشاكل البيانات التي يواجهها العملاء من خلال الجمع بين الخبرة الصناعية والاستشارات والمهارات التحليلية لإحداث تأثير دائم. تختلف مشاريعنا وعملائنا بشكل كبير، وستختلف مسؤولياتك بناءً على مستوى خبرتك/مهاراتك والتركيز على مشاركة العميل، ومن المرجح أن يتضمن دورك بعضًا أو كل ما يلي:
التركيز على تجاوز توقعات العملاء وتحقيق أهداف التحسين المستمر لدينا، ومعالجة مشكلة العميل، وتحويلها إلى حل تقني
إدخال البيانات: تصميم وتنفيذ وإدارة خطوط نقل البيانات لجمع واستيعاب البيانات من مصادر مختلفة في النظام الأساسي للبيانات السحابية. قد يتضمن ذلك استخدام أدوات مثل Apache Kafka، أو AWS Kinesis، أو Azure Event Hubs.
تحويل البيانات: تطوير وصيانة عمليات تحويل البيانات لتنظيف البيانات وإثرائها وهيكلتها لأغراض التحليل وإعداد التقارير. يتضمن هذا غالبًا استخدام أدوات ETL (استخراج، تحويل، تحميل) أو لغات البرمجة النصية مثل Python.
تكامل البيانات: دمج مصادر وأنظمة البيانات المختلفة لضمان اتساق البيانات وسهولة الوصول إليها. قد يتضمن ذلك إعداد موصلات البيانات أو واجهات برمجة التطبيقات.
أمن البيانات: تنفيذ وإنفاذ تدابير أمن البيانات، بما في ذلك التشفير، وضوابط الوصول، والامتثال للوائح خصوصية البيانات مثل اللائحة العامة لحماية البيانات (GDPR) أو HIPAA.
ضبط الأداء: مراقبة أداء النظام الأساسي للبيانات السحابية وتحسينه لضمان كفاءة معالجة البيانات وأداء الاستعلام. قد يتضمن ذلك ضبط التكوينات والفهرسة والتخزين المؤقت.
الأتمتة والتنسيق: إنشاء وصيانة البرامج النصية للأتمتة وسير العمل لإدارة خطوط أنابيب البيانات والنسخ الاحتياطية والمهام الروتينية. يمكن استخدام أدوات البنية التحتية كرمز (IAC) مثل Terraform أو AWS CloudFormation.
المراقبة والتنبيه: قم بإعداد أنظمة المراقبة والتنبيه لتحديد المشكلات ومعالجتها بشكل استباقي فيما يتعلق بخطوط البيانات وصحة النظام الأساسي وجودة البيانات. يمكن استخدام أدوات مثل Prometheus أو Grafana أو حلول المراقبة السحابية الأصلية.
التوثيق والتعاون: توثيق بنية النظام الأساسي للبيانات والعمليات وأفضل الممارسات. تعاون مع مهندسي البيانات وعلماء البيانات وأصحاب المصلحة الآخرين لفهم متطلباتهم والتأكد من أن منصة البيانات تلبي احتياجاتهم.