Data Engineer yol xəritəsi

Səviyyə 0 – Tam yeni başlayan

  1. Kompüter və fayl sistemindən sərbəst istifadə
  2. Kompüter Elmlərin bünövrəsi
  3. Excel və CSV faylları ilə işləmə bacarığı
  4. Əsas SQL sorğuları: SELECT, WHERE, JOIN, GROUP BY

Səviyyə 1 – Proqramlaşdırma və ETL anlayışları
4. Python və ya Scala dilinə giriş
5. Pandas və digər data işləmə kitabxanaları
6. Git və GitHub ilə işləmək, kodun versiyalaşdırılması
7. ETL (Extract, Transform, Load) proseslərinə ümumi baxış


Səviyyə 2 – Məlumat bazaları və sistem arxitekturası
8. SQL və NoSQL sistemləri: PostgreSQL, MySQL, MongoDB
9. Data modeling və normalizasiya anlayışları
10. Partitioning, indexing və performans optimizasiyası
11. Replika və backup strategiyaları


Səviyyə 3 – Məlumat boru xətləri (Data Pipelines)
12. Airflow və ya digər workflow scheduler-lər
13. ETL alətləri: dbt, Luigi və s.
14. Batch və streaming data: Kafka, Spark Streaming, Flink
15. Məlumat keyfiyyəti və monitorinq (Great Expectations, DataDog)


Səviyyə 4 – Məlumat infrastrukturunun qurulması
16. Data warehouse sistemləri: Redshift, BigQuery, Snowflake
17. Data lake konsepti və s3 kimi saxlama sistemləri
18. Infrastructure as Code (Terraform və s.)
19. CI/CD prosesləri və deployment


Səviyyə 5 – Bulud və təhlükəsizlik
20. AWS, Azure və ya GCP ilə məlumat infrastrukturunun qurulması
21. IAM, şəbəkə təhlükəsizliyi və data encryption
22. Auditing və məlumatın məxfiliyi (GDPR, HIPAA və s.)


Səviyyə 6 – Karyera inkişafı
23. Junior Data Engineer — sadə ETL prosesləri, SQL və Python bilikləri
24. Middle Data Engineer — mürəkkəb boru xətləri, streaming və arxitektura təcrübəsi
25. Senior Data Engineer — dizayn və strateji qərarlar, komanda ilə sistem inşası və miqyaslama