課程簡介:
做一個資料科學家，「創意」很重要，技術能力卻是實現創意的基礎。一般企業內最理想的初始資料科學團隊規模是五個人，包括一位PM（專案經理）、一位Data Scientist（數據科學家）、兩位Data Engineer（數據工程師）跟一名Visual Designer（視覺設計師）。這五個人團隊就有三個必須知道資料工程。
大數據中有著珍貴的訊息，像是相關性（Unknown Correlation）、未顯露的模式（Hidden Patterns）、市場趨勢（Market Trend），可能埋藏著前所未見的知識跟應用等著被我們挖掘發現；但由於資料量太龐大，流動速度太快，現今科技無法處理分析，促使市場不斷研發出新一代的資料處理的技術，希望從大數據中萃取出那些有價值的資訊。
我們有幸請民間高手 S.J ，在他歷經電信運營、大數據產品研發及全球大型電子商務的 Data Engineer 經驗後，在此分享資料工程實務應用，在資料處理的你是精鍊自己能力的時候了。
課程介紹
• 利用 Flume 將資料載入HDFS.
• 了解 Hive 基礎架構與資料操作語法.
• 使用 Sqoop 整合關聯式資料庫與 Hadoop ecosystem.
• 區別 Impala 與 Hive 差異,並使用3rd party tool 介接 Impala.
• 使用Oozie設計data pipeline.
• 透過情境實作了解Hadoop各元件在系統中的定位.
教學內容
1.Hadoop introduction.
2.Data Ingest.
3.Data Transform, Stage, Store in Hadoop.
4.Data Integration between RDB and Hadoop.
5.The workflow design.
6.Hands on exercises.
8.How to evaluate campaign performance in E-commerce?
※為維護課程品質及尊重智慧財產權，上課中請勿錄音錄影，亦不提供錄音或錄影補課。