云計(jì)算的推廣和應(yīng)用,讓人們開始生活在云的世界里。隨著云計(jì)算技術(shù)應(yīng)用的日益廣泛,云上數(shù)據(jù)開發(fā)應(yīng)用也越來越成為該領(lǐng)域關(guān)注的重點(diǎn)。對于云上數(shù)據(jù)開發(fā)和應(yīng)用,中培偉業(yè)《云計(jì)算與虛擬化最佳實(shí)踐》楊老師也談了自己的觀點(diǎn)。
楊老師表示,云上數(shù)據(jù)開發(fā)已經(jīng)成為云計(jì)算領(lǐng)應(yīng)用技術(shù)的發(fā)展方向,如何做好云計(jì)算的開發(fā)應(yīng)用,將直接關(guān)系到云計(jì)算在世界發(fā)展的前景。
楊老師表示,大數(shù)據(jù)和云計(jì)算已被視為一體兩面,但在云上開發(fā)大數(shù)據(jù)應(yīng)用并非易事。在進(jìn)行云上開發(fā)大數(shù)據(jù)應(yīng)用之前,首先應(yīng)該了解其關(guān)鍵要素。
云上大數(shù)據(jù)分析系統(tǒng)可以分成三個(gè)關(guān)鍵要素去考慮:
1. 分析的類型。根據(jù)信息密度和信息質(zhì)量,需要選擇不同的分析服務(wù)。如銀行交易數(shù)據(jù)是高質(zhì)量的信息,可以使用成熟的MPP RDBMS和自帶列存儲、機(jī)器學(xué)習(xí)庫的庫內(nèi)分析技術(shù),但像日志、用戶行為是低質(zhì)量的信息,數(shù)據(jù)量非常大,但是它的信息密度是不高的,可以考慮具有高可擴(kuò)展能力的廉價(jià)集群存儲,像NoSQL Database,并用企業(yè)級的SparkHadoop服務(wù)進(jìn)行分析操作。
2. 數(shù)據(jù)傳輸效率。把數(shù)據(jù)上傳到云端,低密度數(shù)據(jù)的傳輸可能存在效率的問題,需要高速的端到云的傳輸技術(shù),具有高壓縮比、高并發(fā)和高效傳輸協(xié)議的傳輸服務(wù)。
3. 數(shù)據(jù)存儲類型選擇,包括隨機(jī)對象存儲,大對象的存儲,本地盤和遠(yuǎn)程存儲,和存儲的性價(jià)比。在云平臺上可以考慮有的數(shù)據(jù)做離線計(jì)算,對于低活躍度的數(shù)據(jù)可以使用大對象存儲。例如SwiftS3等。對于在線分析,需要IO吞吐率比較高,使用傳輸效率更好的本地SSD存儲、或者掛載外部SANiSCSI等陣列。
中培偉業(yè)作為國內(nèi)領(lǐng)先的IT培訓(xùn)與咨詢機(jī)構(gòu),在云計(jì)算應(yīng)用方面擁有非常專業(yè)的培訓(xùn)實(shí)力。中培精心打造的《云計(jì)算與虛擬化最佳實(shí)踐》課程自開設(shè)以來,培養(yǎng)了一大批云計(jì)算應(yīng)用方面的精英人才,深受學(xué)員的認(rèn)可和同業(yè)的尊重。下一期培訓(xùn)時(shí)間:將于21--24日在 北京,12月18--21日在 廈門 舉行,目前學(xué)員正火熱招募中,歡迎廣大云計(jì)算應(yīng)用人才踴躍報(bào)名參加!