1-精通一種編程語(yǔ)言

是的，編程語(yǔ)言是數(shù)據(jù)工程的必備技能。多數(shù)職位概況要求精通至少一種編程語(yǔ)言。這些語(yǔ)言是ETL或數(shù)據(jù)管道框架所必需的。通用編程語(yǔ)言是總體上掌握數(shù)據(jù)工程和管道所需的核心編程技能。比如，Java和Scala用于在Hadoop上編寫(xiě)MapReduce作業(yè)。Python是數(shù)據(jù)分析和管道的流行選擇，而Ruby也是廣泛流行的應(yīng)用程序粘合劑。

2- Python是最受關(guān)注的技能

Python！Python！Python！是的，大約70％的工作簡(jiǎn)介中具有Python作為必備技能，其次是SQL，Java，Scala和其他編程技能，例如R，.Net，Perl，Shell腳本等。

3- Apache Spark在數(shù)據(jù)處理層的頂部

數(shù)據(jù)處理是將數(shù)據(jù)收集和處理為可用的所需形式。Apache Spark排在數(shù)據(jù)處理層的首位，其次是AWS Lambda，Elasticsearch，MapReduce，Oozie，Pig，AWS EMR等。ApacheSpark是一個(gè)功能強(qiáng)大的開(kāi)源框架，可提供交互式處理，實(shí)時(shí)流處理，批處理，并以非?？斓乃俣龋瑯?biāo)準(zhǔn)接口和易用性進(jìn)行內(nèi)存處理。

4- Rest API通常用于數(shù)據(jù)收集

對(duì)于需要分析或處理的任何數(shù)據(jù)，首先需要將其收集或吸收到數(shù)據(jù)管道中。REST API是用于此目的的常用工具，其次是Sqoop，Nifi，Azure Data Factory，F(xiàn)lume，Hue等。

5-數(shù)據(jù)緩沖最常見(jiàn)的是Apache Kafka

數(shù)據(jù)緩沖是數(shù)據(jù)工程框架中的關(guān)鍵部分，在將數(shù)據(jù)從一個(gè)地方移到另一個(gè)地方以適應(yīng)大量數(shù)據(jù)時(shí)，需要臨時(shí)存儲(chǔ)數(shù)據(jù)。Apache Kafka是常用的分布式數(shù)據(jù)存儲(chǔ)，經(jīng)過(guò)優(yōu)化可實(shí)時(shí)攝取和處理流數(shù)據(jù)。流數(shù)據(jù)是由數(shù)千個(gè)數(shù)據(jù)源連續(xù)生成的數(shù)據(jù)，這些數(shù)據(jù)源通常同時(shí)發(fā)送數(shù)據(jù)記錄。流平臺(tái)需要處理這種不斷涌入的數(shù)據(jù)，并按順序和增量地處理數(shù)據(jù)。此類別中的其他工具是Kinesis，redis Cache, GCP Pub/Sub等。

6-存儲(chǔ)數(shù)據(jù)– SQL或NOSQL

數(shù)據(jù)需要存儲(chǔ)以進(jìn)行處理，分析或可視化，以生成有價(jià)值的結(jié)果。數(shù)據(jù)存儲(chǔ)可以采用數(shù)據(jù)倉(cāng)庫(kù)，Hadoop，數(shù)據(jù)庫(kù)（RDBMS和NoSQL），數(shù)據(jù)集市的形式。緊隨其后的是Hive，AWS Redshift，MongoDB，AWS S3，Cassandra，GCP BigQuery等SQL技能。

7-使用Tableau或PowerBI進(jìn)行數(shù)據(jù)可視化

數(shù)據(jù)可視化是以圖形，圖表或其他可視格式表示數(shù)據(jù)或信息。它傳達(dá)數(shù)據(jù)與圖像的關(guān)系。Tableau和PowerBI領(lǐng)先于競(jìng)爭(zhēng)對(duì)手，其次是SAP Business Objects，Qlik，SPSS，QuickSight，MicroStrategy等。

8-數(shù)據(jù)工程云平臺(tái)

有不同的基于云或內(nèi)部部署的平臺(tái)，可用于不同的數(shù)據(jù)工程工具集。列出的典型代表是Hadoop，Google Cloud Platform，AWS，Azure和Apprenda。

好吧，并非一定要精通所有技能和工具，但是通常需要在每個(gè)數(shù)據(jù)管道框架類別中至少掌握其中一個(gè)，例如針對(duì)云平臺(tái)的GCP，針對(duì)開(kāi)發(fā)的Python，針對(duì)數(shù)據(jù)處理的Apache Spark，針對(duì)數(shù)據(jù)收集的Rest API，針對(duì)數(shù)據(jù)緩沖的Apache Kafka，針對(duì)數(shù)據(jù)存儲(chǔ)的Hive，用于數(shù)據(jù)可視化的PowerBI。