Data Engineer Là Gì? Người Xây Dựng Hạ Tầng Dữ Liệu
By Fourpenny House
Mỗi biểu đồ doanh thu, mỗi mô hình gợi ý sản phẩm hay báo cáo vận hành mà doanh nghiệp nhìn thấy đều đứng trên một lớp hạ tầng ít ai để ý. Người dựng lớp hạ tầng đó là Data Engineer (Kỹ sư dữ liệu). Họ không trực tiếp vẽ biểu đồ hay huấn luyện mô hình, nhưng nếu thiếu họ thì dữ liệu sẽ nằm rải rác, sai lệch và gần như không dùng được. Tổng quan nhanh – Data Engineer (Kỹ sư dữ liệu) là người thiết kế, xây dựng và vận hành đường ống dữ liệu (data pipeline) để đưa dữ liệu thô thành dữ liệu sẵn sàng phân tích. – Công việc xoay quanh ETL/ELT, kho dữ liệu (data warehouse), chất lượng dữ liệu và tối ưu chi phí lưu trữ, xử lý. – Bộ công cụ phổ biến gồm SQL, Python, Apache Spark, Apache Airflow,… Read the full post on fourpennyhouse.com