流程

selenium爬取慕課網(wǎng)的課程、章節(jié)、評(píng)論數(shù)據(jù)集分別存兩個(gè)地方：mysql數(shù)據(jù)庫(kù)[便于后期選裝推薦、預(yù)測(cè)算法、知識(shí)圖譜、后臺(tái)]、.csv文件；

【需要注意的是慕課網(wǎng)評(píng)分不準(zhǔn)，需要使用深度學(xué)習(xí)知識(shí)NLP模型進(jìn)行文本分類(lèi)、情感分析?。?！】

將.csv上傳到hdfs中，并使用hive建表后導(dǎo)入.csv數(shù)據(jù)；

9個(gè)指標(biāo)，一半使用spark/scala去做實(shí)時(shí)計(jì)算分析。一半使用hive_sql進(jìn)行分層離線(xiàn)處理計(jì)算，并使用sqoop把hive分析結(jié)果導(dǎo)入mysql;

最終使用flask+echarts制作可視化統(tǒng)計(jì)大屏圖；

NLP模型進(jìn)行文本分類(lèi)情感分析、Python爬蟲(chóng)采集50萬(wàn)+數(shù)據(jù)集、可視化大屏、spark+hive離線(xiàn)計(jì)算實(shí)時(shí)計(jì)算混合開(kāi)發(fā)雙實(shí)現(xiàn)防止被導(dǎo)師噴;

如果他(導(dǎo)師)還是狂噴不止，繼續(xù)選擇以下的系統(tǒng)，他們可以選裝牛鼻功能！

可選裝項(xiàng)目模塊如下

1.推薦系統(tǒng)(4種深度學(xué)習(xí)推薦算法 協(xié)同過(guò)濾基于用戶(hù) 基于物品 SVD神經(jīng)網(wǎng)絡(luò) MLP)。附帶AI、支付、短信、lstm情感分析。

2.預(yù)測(cè)系統(tǒng)(KNN CNN RNN卷積神經(jīng)預(yù)測(cè) K-means 線(xiàn)性回歸)。

3.知識(shí)圖譜neo4j可視化關(guān)系網(wǎng)絡(luò)圖。

4.后臺(tái)管理系統(tǒng)。

注意：以上1234部分均采用springboot+vue.js前后端分離架構(gòu)?。?！