[摘要]什么是ETL，ETL工程师的主要工作职责是什么？ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据...
什么是ETL，ETL工程师的主要工作职责是什么？
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节。
ETL工程师的主要工作职责：
1、海量数据的ETL开发，抽取成各种数据需求。
2、参与数据仓库架构的设计及开发 。
3、参与数据仓库ETL流程优化及解决ETL相关技术问题。
JVS的数据智仓可以看下， 2个小时学会ETL的数据加工能力
关于数据智仓的功能介绍如下：
数据智仓功能介绍（一）
数据智仓功能介绍（二）
数据智仓功能介绍（三）
数据智仓功能介绍（四）
数据智仓：https://frame.bctools.cn/
什么是ETL，ETL工程师的主要工作职责是什么？
我个人平时工作有40%的工作是ETL,主要是从各种系统里面用不同的语言和方法抓数据，以满足各种商业场景需求。
简单来说，如果把数据分析类比成做菜，ETL相当于备菜。
备菜不是个容易的事，
首先，你要熟悉做这道菜的原料，比如，鸡丁，花生，葱，姜，辣椒等。哪里买，怎么运输过来。
其次，你要会用刀，砧板，碗等工具和器材来处理这些食材。
再次，你要知道鸡丁切多大，葱花多碎等。
最后，把所有准备好的材料递给主厨即可。
上面的比喻有点烂，不过意思比较接近。真实的商业场景要复杂许多，但是基本的东西无外乎：
1，理解用户对数据的需求，比如你要知道那些数据是可以抓出来的，哪些不可以。哪些数据需要很久，哪些很快。
2，会用数据库和编程语言进行数据抓取，比如Redshift，SQL, JS, Python
3，好的商业和技术直觉，这个比较难。就是不被用户牵着鼻子走，或者建立一些automation的东西来增加效率。
个人觉得，ETL是一个非常重要，非常基础的过程。是一个事半功倍的步骤。很多公司都在招ETL工程师。而且目前大数据，AI, Data Science这些概念特别火，其实万变不离其宗，ETL是其中的一宗。