流程

1.Python采集網易云音樂歌手、歌詞、音樂、評論等約10-20萬+海量數據，存入mysql數據庫；

2.使用pandas+numpy/MapReduce對mysql中四類數據進行數據清洗，寫入.csv文件并上傳至hdfs(含評論NLP文本分類/lsm情感分析);

3.使用hive建庫建表，導入.csv數據集；

4.一半分析指標使用hive_sql完成，一半分析指標使用Spark之Scala語法完成；

5.將分析結果使用sqoop導入mysql數據庫的指標表；

6.使用Flask+Echarts搭建可視化大屏界面；

創(chuàng)新點

1.Python爬蟲采集海量數據；

2.lstml情感分析/NLP文本分類；

3.spark實時分析+(hadoop、hive離線分析數據倉庫)雙實現，可實時可離線防止導師噴人；

4.可視化大屏炫酷顯擺；

注意

如果還覺得本系統太簡單太low工作量不夠，可以選裝推薦系統、知識圖譜、預測系統、后臺管理，可以無縫銜接0秒對接上！?。崿F效果如下：

https://www.bilibili.com/video/BV1tV4y1q7RJ/?spm_id_from=333.999.0.0

https://www.bilibili.com/video/BV1PN4y1P7LX/?spm_id_from=333.999.0.0

https://www.bilibili.com/video/BV1234y1676e/?spm_id_from=333.999.0.0