大數(shù)據(jù)開(kāi)發(fā)工程師課程體系——Java部分。第一階段：靜態(tài)網(wǎng)頁(yè)基礎(chǔ)1、學(xué)習(xí)Web標(biāo)準(zhǔn)化網(wǎng)頁(yè)制作，必備的HTML標(biāo)記和屬性2、學(xué)習(xí)HTML表格、表單的設(shè)計(jì)與制作3、學(xué)習(xí)CSS、豐富HTML網(wǎng)頁(yè)的樣式4、通過(guò)CSS布局和定位的學(xué)習(xí)、讓HTML頁(yè)面布局更加美觀5、復(fù)習(xí)所有知識(shí)、完成項(xiàng)目布置第二階段：JavaSE+JavaWeb1、掌握J(rèn)AVASE基礎(chǔ)語(yǔ)法2、掌握J(rèn)AVASE面向?qū)ο笫褂?、掌握J(rèn)AVASEAPI常見(jiàn)操作類使用并靈活應(yīng)用4、熟練掌握MYSQL數(shù)據(jù)庫(kù)的基本操作，SQL語(yǔ)句5、熟練使用JDBC完成數(shù)據(jù)庫(kù)的數(shù)據(jù)操作6、掌握線程，網(wǎng)絡(luò)編程，反射基本原理以及使用7、項(xiàng)目實(shí)戰(zhàn) + 擴(kuò)充知識(shí)：人事管理系統(tǒng)第三階段：前端UI框架1、JAVASCRIPT2、掌握J(rèn)query基本操作和使用3、掌握注解基本概念和使用4、掌握版本控制工具使用5、掌握easyui基本使用6、項(xiàng)目實(shí)戰(zhàn)+擴(kuò)充知識(shí)：項(xiàng)目案例實(shí)戰(zhàn)POI基本使用和通過(guò)注解封裝Excel、druid連接池?cái)?shù)據(jù)庫(kù)監(jiān)聽(tīng),日志Log4j/Slf4j第四階段：企業(yè)級(jí)開(kāi)發(fā)框架1、熟練掌握spring、spring mvc、mybatis/2、熟悉struts23、熟悉Shiro、redis等4、項(xiàng)目實(shí)戰(zhàn)：內(nèi)容管理系統(tǒng)系統(tǒng)、項(xiàng)目管理平臺(tái)流程引擎activity，爬蟲(chóng)技術(shù)nutch,lucene，webService CXF、Tomcat集群 熱備 MySQL讀寫分離以上Java課程共計(jì)384課時(shí)，合計(jì)48天！大數(shù)據(jù)開(kāi)發(fā)工程師課程體系——大數(shù)據(jù)部分第五階段：大數(shù)據(jù)前傳大數(shù)據(jù)前篇、大數(shù)據(jù)課程體系、計(jì)劃介紹、大數(shù)據(jù)環(huán)境準(zhǔn)備&搭建第六階段：CentOS課程體系CentOS介紹與安裝部署、CentOS常用管理命令解析、CentOS常用Shell編程命令、CentOS階段作業(yè)與實(shí)戰(zhàn)訓(xùn)練第七階段：Maven課程體系Maven初識(shí):安裝部署基礎(chǔ)概念、Maven精講:依賴聚合與繼承、Maven私服:搭建管理與應(yīng)用、Maven應(yīng)用:案列分析、Maven階段作業(yè)與實(shí)戰(zhàn)訓(xùn)練第八階段：HDFS課程體系Hdfs入門:為什么要HDFS與概念、Hdfs深入剖析:內(nèi)部結(jié)構(gòu)與讀寫原理、Hdfs深入剖析:故障讀寫容錯(cuò)與備份機(jī)制、HdfsHA高可用與Federation聯(lián)邦、Hdfs訪問(wèn)API接口詳解、HDFS實(shí)戰(zhàn)訓(xùn)練、HDFS階段作業(yè)與實(shí)戰(zhàn)訓(xùn)練第九階段：MapReduce課程體系MapReduce深入剖析:執(zhí)行過(guò)程詳解、MapReduce深入剖析:MR原理解析、MapReduce深入剖析:分片混洗詳解、MapReduce編程基礎(chǔ)、MapReduce編程進(jìn)階、MapReduc階段作業(yè)與實(shí)戰(zhàn)訓(xùn)練第十階段：Yarn課程體系Yarn原理介紹:框架組件流程調(diào)度第十一階段：Hbase課程體系Yarn原理介紹:框架組件流程調(diào)度、HBase入門:模型坐標(biāo)結(jié)構(gòu)訪問(wèn)場(chǎng)景、HBase深入剖析:合并分裂數(shù)據(jù)定位、Hbase訪問(wèn)Shell接口、Hbase訪問(wèn)API接口、HbaseRowkey設(shè)計(jì)、Hbase實(shí)戰(zhàn)訓(xùn)練第十二階段：MongoDB課程體系MongoDB精講:原理概念模型場(chǎng)景、MongoDB精講:安全與用戶管理、MongoDB實(shí)戰(zhàn)訓(xùn)練、MongoDB階段作業(yè)與實(shí)戰(zhàn)訓(xùn)練第十三階段：Redis課程體系Redis快速入門、Redis配置解析、Redis持久化RDB與AOF、Redis操作解析、Redis分頁(yè)與排序、Redis階段作業(yè)與實(shí)戰(zhàn)訓(xùn)練第十四階段：Scala課程體系Scala入門:介紹環(huán)境搭建第1個(gè)Scala程序、Scala流程控制、異常處理、Scala數(shù)據(jù)類型、運(yùn)算符、Scala函數(shù)基礎(chǔ)、Scala常規(guī)函數(shù)、Scala集合類、Scala類、Scala對(duì)象、Scala特征、Scala模式匹配、Scala階段作業(yè)與實(shí)戰(zhàn)訓(xùn)練第十五階段：Kafka課程體系Kafka初窺門徑:主題分區(qū)讀寫原理分布式、Kafka生產(chǎn)&消費(fèi)API、Kafka階段作業(yè)與實(shí)戰(zhàn)訓(xùn)練第十六階段：Spark課程體系Spark快速入門、Spark編程模型、Spark深入剖析、Spark深入剖析、SparkSQL簡(jiǎn)介、SparkSQL程序開(kāi)發(fā)光速入門、SparkSQL程序開(kāi)發(fā)數(shù)據(jù)源、SparkSQL程序開(kāi)DataFrame、SparkSQL程序開(kāi)發(fā)DataSet、SparkSQL程序開(kāi)發(fā)數(shù)據(jù)類型、SparkStreaming入門、SparkStreaming程序開(kāi)發(fā)如何開(kāi)始、SparkStreaming程序開(kāi)發(fā)DStream的輸入源、SparkStreaming程序開(kāi)發(fā)Dstream的操作、SparkStreaming程序開(kāi)發(fā)程序開(kāi)發(fā)--性能優(yōu)化、SparkStreaming程序開(kāi)發(fā)容錯(cuò)容災(zāi)、SparkMllib 解析與實(shí)戰(zhàn)、SparkGraphX 解析與實(shí)戰(zhàn)第十七階段：Hive課程提體系體系結(jié)構(gòu)機(jī)制場(chǎng)景、HiveDDL操作、HiveDML操作、HiveDQL操作、Hive階段作業(yè)與實(shí)戰(zhàn)訓(xùn)練第十八階段：企業(yè)級(jí)項(xiàng)目實(shí)戰(zhàn)1、基于美團(tuán)網(wǎng)的大型離線電商數(shù)據(jù)分析平臺(tái)2、移動(dòng)基站信號(hào)監(jiān)測(cè)大數(shù)據(jù)3、大規(guī)模設(shè)備運(yùn)維大數(shù)據(jù)分析挖掘平臺(tái)4、基 于互聯(lián)網(wǎng)海量數(shù)據(jù)的輿情大數(shù)據(jù)平臺(tái)項(xiàng)目以上大數(shù)據(jù)部分共計(jì)學(xué)習(xí)656課時(shí)，合計(jì)82天！0基礎(chǔ)大數(shù)據(jù)培訓(xùn)課程共計(jì)學(xué)習(xí)130天。以上是大數(shù)據(jù)開(kāi)發(fā)培訓(xùn)內(nèi)容，加米谷是線下面授小班教學(xué)！

（1）統(tǒng)計(jì)學(xué)：參數(shù)檢驗(yàn)、非參檢驗(yàn)、回歸分析等。

（2）數(shù)學(xué)：線性代數(shù)、微積分等。

（3）社會(huì)學(xué)：主要是一些社會(huì)學(xué)量化統(tǒng)計(jì)的知識(shí)，如問(wèn)卷調(diào)查與統(tǒng)計(jì)分析；還有就是一些社會(huì)學(xué)的知識(shí)，這些對(duì)于從事?tīng)I(yíng)銷類的數(shù)據(jù)分析人員比較有幫助。

（4）經(jīng)濟(jì)金融：如果是從事這個(gè)行業(yè)的數(shù)據(jù)分析人員，經(jīng)濟(jì)金融知識(shí)是必須的。

（5）計(jì)算機(jī)：從事數(shù)據(jù)分析工作的人必須了解你使用的數(shù)據(jù)是怎么處理出來(lái)的，要了解數(shù)據(jù)庫(kù)的結(jié)構(gòu)和基本原理，同時(shí)如果條件充足的話，你還能有足夠的能力從數(shù)據(jù)庫(kù)里提取你需要的數(shù)據(jù)（比如使用SQL進(jìn)行查詢），這種提取數(shù)據(jù)分析原材料的能力是每個(gè)數(shù)據(jù)從業(yè)者必備的。

此外，如果要想走的更遠(yuǎn)，還要能掌握一些編程能力，從而借住一些專業(yè)的數(shù)據(jù)分析工具，幫助你完成工作。

大數(shù)據(jù)（big data），指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越成為數(shù)據(jù)的主要部分。據(jù)IDC的調(diào)查報(bào)告顯示：企業(yè)中80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)每年都按指數(shù)增長(zhǎng)60%。

大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒(méi)有必要神話它或?qū)λ３志次分模谝栽朴?jì)算為代表的技術(shù)創(chuàng)新大幕的襯托下，這些原本看起來(lái)很難收集和使用的數(shù)據(jù)開(kāi)始容易被利用起來(lái)了，通過(guò)各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會(huì)逐步為人類創(chuàng)造更多的價(jià)值。

參考資料：百度百科-大數(shù)據(jù)

①JavaSE核心技術(shù)

②Hadoop生態(tài)圈（Hadoop平臺(tái)核心技術(shù)、Hive開(kāi)發(fā)、HBase開(kāi)發(fā)）

③Spark相關(guān)技術(shù)（Spark相關(guān)技術(shù)、Scala基本編程）

④掌握Python基本使用、核心庫(kù)的使用、Python爬蟲(chóng)、簡(jiǎn)單數(shù)據(jù)分析，理解Python機(jī)器學(xué)習(xí)

⑤大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)實(shí)戰(zhàn)

⑥大數(shù)據(jù)系統(tǒng)管理優(yōu)化

⑦掌握企業(yè)使用阿里云大數(shù)據(jù)平臺(tái)開(kāi)發(fā)所需要的技能

一、基礎(chǔ)部分：JAVA語(yǔ)言 和 LINUX系統(tǒng)

二、數(shù)據(jù)開(kāi)發(fā):

1、數(shù)據(jù)分析與挖掘

一般工作包括數(shù)據(jù)清洗，執(zhí)行分析和數(shù)據(jù)可視化。學(xué)習(xí)Python、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)爬蟲(chóng)、數(shù)據(jù)分析與處理等。

大數(shù)據(jù)培訓(xùn)一般是指大數(shù)據(jù)開(kāi)發(fā)培訓(xùn)。

大數(shù)據(jù)技術(shù)龐大復(fù)雜，基礎(chǔ)的技術(shù)包含數(shù)據(jù)的采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、機(jī)器學(xué)習(xí)、并行計(jì)算、可視化等各種技術(shù)范疇和不同的技術(shù)層面。

2、大數(shù)據(jù)開(kāi)發(fā)

數(shù)據(jù)工du程師建設(shè)和優(yōu)化系統(tǒng)。學(xué)習(xí)hadoop、spark、storm、超zhi大集群調(diào)優(yōu)、機(jī)器學(xué)習(xí)、Docker容器引擎、ElasticSearch、并發(fā)編程等；

課程學(xué)習(xí)一共分為六個(gè)階段：

第一階段Java語(yǔ)言基礎(chǔ)01Java開(kāi)發(fā)介紹02熟悉Eclipse開(kāi)發(fā)工具03Java語(yǔ)言基礎(chǔ)04Java流程控制05Java字符串06Java數(shù)組與類和對(duì)象07數(shù)字處理類與核心技術(shù)08I/O與反射、多線程09Swing程序與集合類第二階段HTML、CSS與JavaScript01PC端網(wǎng)站布局02HTML5+CSS3基礎(chǔ)03WebApp頁(yè)面布局04原生JavaScript交互功能開(kāi)發(fā)05Ajax異步交互06JQuery應(yīng)用第三階段JavaWeb和數(shù)據(jù)庫(kù)01數(shù)據(jù)庫(kù)02JavaWeb開(kāi)發(fā)核心03JavaWeb開(kāi)發(fā)內(nèi)幕第四階段Linux基礎(chǔ)01Linux安裝與配置02系統(tǒng)管理與目錄管理03用戶與用戶組管理04Shell編程05服務(wù)器配置06Vi編輯器與Emacs編輯器第五階段Hadoop生態(tài)體系01Hadoop起源與安裝02MapReduce快速入門03Hadoop分布式文件系統(tǒng)04Hadoop文件I/O詳解05MapReduce工作原理06MapReduce編程開(kāi)發(fā)07Hive數(shù)據(jù)倉(cāng)庫(kù)工具08開(kāi)源數(shù)據(jù)庫(kù)HBase09Sqoop與Oozie第六階段Spark生態(tài)體系01Spark簡(jiǎn)介02Spark部署和運(yùn)行03Spark程序開(kāi)發(fā)04Spark編程模型05作業(yè)執(zhí)行解析06Spark SQL與DataFrame07深入Spark Streaming08Spark MLlib與機(jī)器學(xué)習(xí)09GraphX與SparkR10spark項(xiàng)目實(shí)戰(zhàn)11scala編程12Python編程第七階段Storm實(shí)時(shí)開(kāi)發(fā)01storm簡(jiǎn)介與基本知識(shí)02拓?fù)湓斀馀c組件詳解03Hadoop分布式系統(tǒng)04spout詳解與bolt詳解05zookeeper詳解06storm安裝與集群搭建07storm-starter詳解08開(kāi)源數(shù)據(jù)庫(kù)HBase09trident詳解第八階段項(xiàng)目案例01模擬雙11購(gòu)物平臺(tái)02前端工程化與模塊化應(yīng)用主要都講這些內(nèi)容！

肯定是關(guān)于大數(shù)據(jù)或數(shù)據(jù)庫(kù)整理、編程、挖掘，然后出報(bào)告。還有就是學(xué)習(xí)的工具有Hadoop、MapReduce、Sqoop、Spark、Python等。除了現(xiàn)場(chǎng)學(xué)習(xí)，現(xiàn)在互聯(lián)網(wǎng)那么發(fā)達(dá)，肯定也有線上的課程，不然距離成本也好高，顧不過(guò)來(lái)的感覺(jué)……

- apache superset -大數(shù)據(jù)可視化實(shí)時(shí)展示grafana/kobana了解詳情- 文件存儲(chǔ)格式 -apache文件存儲(chǔ)格式多樣化列式存儲(chǔ)格式內(nèi)存組成（parquet）了解詳情- apache Doris -基于MPP的交互式SQL數(shù)據(jù)倉(cāng)庫(kù)解決報(bào)表多維分析在線報(bào)表和分析的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)了解詳情- 數(shù)倉(cāng)建設(shè) -對(duì)大數(shù)據(jù)BI系統(tǒng)提供數(shù)據(jù)支撐OLAP方案之a(chǎn)pache kylin解決OLAP場(chǎng)景 壓秒級(jí)查詢巨大Hive表

如果是科班出身(數(shù)學(xué)/統(tǒng)計(jì)學(xué)/計(jì)算機(jī)/金融)，最好是先系統(tǒng)培訓(xùn)，打一個(gè)基礎(chǔ)，有一個(gè)知識(shí)框架后再通過(guò)實(shí)踐進(jìn)行學(xué)習(xí)。 培訓(xùn)的話找口碑好，大校區(qū)，實(shí)實(shí)在在的，都沒(méi)什么問(wèn)題的。現(xiàn)在市面上現(xiàn)在學(xué)開(kāi)發(fā)的機(jī)構(gòu)太多。魚(yú)龍混雜?？梢詫?shí)地考察一下，在多重選擇，多看一下大品牌，口碑好的。在學(xué)習(xí)的時(shí)候選擇班型上，看你的學(xué)歷和基礎(chǔ)，如果你學(xué)歷很低沒(méi)有計(jì)算機(jī)基礎(chǔ)，不要指望4個(gè)月的班型能讓你脫胎換骨。

主要學(xué)習(xí)office辦公自動(dòng)化，HTML+css3，JavaScript，C語(yǔ)言程序設(shè)計(jì)，Linux服務(wù)器配置與應(yīng)用，MySQL數(shù)據(jù)庫(kù)管理的應(yīng)用等。