大數(shù)據(jù)與人工智能-解惑

1、大數(shù)據(jù)與人工智能 ------ 解惑,主 題,人工智能的歷史1956年達(dá)特茅斯會(huì)議召開，人工智能正式提上議程智能時(shí)代什么時(shí)候來臨？當(dāng)機(jī)器擁有語音識(shí)別、圖像識(shí)別、自然語音理解等這些人最本質(zhì)的智慧能力的時(shí)候，那么大數(shù)據(jù)人工智能時(shí)代已經(jīng)來臨。,人工智能歷史及發(fā)展,人工智能應(yīng)用1-圍棋,人工智能應(yīng)用2-聊天機(jī)器人,人工智能應(yīng)用3-圖片識(shí)別,"little gi

2、rl is eating piece of cake.",人工智能應(yīng)用4-人臉識(shí)別,人工智能應(yīng)用5-圖片文字提取,人工智能應(yīng)用6-自動(dòng)駕駛汽車,Machine Learning(ML) is a scientific discipline that deals with the construction and study of algorithms that can learn from data.機(jī)器學(xué)習(xí)是一門從數(shù)據(jù)中研

3、究算法的科學(xué)學(xué)科。機(jī)器學(xué)習(xí)直白來講，是根據(jù)已有的數(shù)據(jù)，進(jìn)行算法選擇，并基于算法和數(shù)據(jù)構(gòu)建模型，最終對(duì)未來進(jìn)行預(yù)測(cè),機(jī)器學(xué)習(xí)定義,1：傳統(tǒng)模型算法2：深度學(xué)習(xí)算法,機(jī)器學(xué)習(xí)算法,1：決策樹算法 2：K-近鄰算法3：支持向量機(jī)(SVN)4：關(guān)聯(lián)分析(Apriori)5：隱馬爾科夫模型(HMM)6：AdaBoost算法7：樸素貝葉斯算法 ......,傳統(tǒng)算法,深度

4、神經(jīng)網(wǎng)絡(luò)(DNN)(Deep Neural Network)應(yīng)用場(chǎng)景：搜索排序、推薦排序,深度學(xué)習(xí),卷積神經(jīng)網(wǎng)絡(luò)(CNN)(Convolutional Neural Network)應(yīng)用場(chǎng)景：圖像識(shí)別、視頻分析,深度學(xué)習(xí),循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)(Recurrent Neural Network)應(yīng)用場(chǎng)景：語音識(shí)別、自然語言處理,深度學(xué)習(xí),投資策略1：選擇項(xiàng)目2：選擇時(shí)間3：風(fēng)險(xiǎn)控制4：買入項(xiàng)目5：賣出項(xiàng)目,智能P2

5、P投資系統(tǒng),預(yù)測(cè)流程,新聞及政策預(yù)測(cè)投資走向,數(shù)據(jù)收集,,數(shù)據(jù)處理,,文本向量化,,信息抽取,中文分詞,特殊過濾,情感分析,中文分詞,分詞操作,詞向量表示1：One-Hot稀疏編碼橙子 [1 0 0 0 0 ]菠蘿 [0 1 0 0 0 ]2：Embedding稠密編碼橙子 [0.3 0.2],向量表示,詞編碼訓(xùn)練（Word2Vec）1：基于上下文預(yù)測(cè)詞2：基于詞預(yù)測(cè)上下文可通過以下實(shí)現(xiàn)1：python Gens

6、im 工具包2：world2Vec google開源,向量標(biāo)記訓(xùn)練,投入模型進(jìn)行訓(xùn)練例如：卷積神經(jīng)網(wǎng)絡(luò) CNN基本原理：二維圖像-->分解方格-->卷積變換-->池化-->取出最大值輸出(最終得出圖像的類別),模型訓(xùn)練,圖像與單詞連接思路：一維單詞--》二維矩陣以單詞向量作為輸入項(xiàng)目收益的波動(dòng)作為輸出,模型訓(xùn)練,一：數(shù)據(jù)來源 1：網(wǎng)絡(luò)爬蟲 2：開源工具 3：大數(shù)據(jù)平臺(tái)二：預(yù)測(cè)步驟

7、 1 : 數(shù)據(jù)清洗 例如通過jieba分詞系統(tǒng) 分詞、過濾等操作 2：通過 python中的 numpy、pandas、Matplotlib完成數(shù)據(jù)預(yù)處理及特征提取操作 3：通過tensorflow、tflearn深度學(xué)習(xí)工具包進(jìn)行深度學(xué)習(xí)建模。,開發(fā)流程總結(jié),對(duì)比：,智能與非智能比較,人工智能應(yīng)用開發(fā)流程,數(shù)據(jù)收集,,數(shù)據(jù)清洗,,特征工程,,數(shù)據(jù)建模,如果你是下面的行業(yè)1：司機(jī)2：醫(yī)生3：記者4：翻譯5