大數據自誕生之后，就以改變世界未來發展方式的姿態牢牢吸引著世人的眼球。在2016年即將進入尾聲之際，中培偉業專家鐘老師在這里詳細介紹了有可能在2017年影響大數據行業趨勢的5大關鍵技術。

　　物聯網(IoT)

公司日益期望從所有數據中獲得價值;制造、銷售和支持實物的大型工業公司將與其“物件”連接的傳感器接入到互聯網。企業組織將不得不改動技術，以便與物聯網數據銜接起來。這在數據治理、標準、健康保障、安全和供應鏈等方面帶來了無數新的挑戰和機遇。

物聯網和大數據是同一枚硬幣的兩面;數十億與互聯網連接的“物件”將生產大量數據。然而，這本身不會引發另一場工業革命，不會改變日常的數字化生活，也不會提供拯救地球的預警系統。來自設備外部的數據才是企業讓自己與眾不同的方面。結合上下文來捕獲和分析這種類型的數據為公司帶來了新的發展前途。

研究表明，相比計劃維修，預測性維護最多可省下12%的成本，因而使維護成本降低30%，將設備故障造成的停運時間縮短70%。對于制造工廠或運輸公司來說，從數據驅動的決策獲得這些結果，意味著在改進運營和節省成本方面大有機會。

深度學習

深度學習是一套基于神經網絡的機器學習技術，它仍在發展之中，不過在解決業務問題方面顯示出大有潛力。它讓計算機能夠從大量非結構化數據和二進制數據中找出感興趣的內容，并且推導出關系，而不需要特定的模型或編程指令。

這些算法的源動力主要來自人工智能領域，人工智能的總體目標是模擬人類大腦觀察、分析、學習和做決定的能力，尤其是處理極其復雜的問題。深度學習方法的一個關鍵概念就是數據的分布式表示，因而可以對輸入數據的抽象特征實現大量的組合，從而可以緊湊表示每個樣本，最終獲得更豐富的泛化。

深度學習主要用于從大量未標記/未監督的數據當中學習，因而對于從大數據中提取有意義的表示和模式頗具吸引力。比如說，它可以用來識別許多不同類型的數據，比如視頻中的形狀、顏色和對象，或者甚至是圖像中的貓，就像谷歌研制的一個神經網絡在2012年所做的那樣。

因此，企業可能會看到更多的注意力投向半監督式或未監督式訓練算法來處理進入的大量數據。

內存中分析

不像常規的商業智能(BI)軟件對存儲在服務器硬盤上的數據運行查詢，內存中技術查詢的是載入到內存中的信息，這可以通過減少或甚至消除磁盤輸入輸出瓶頸來顯著提升分析性能。就大數據而言，正是由于TB級系統和大規模并行處理，讓內存中分析技術更令人關注。

在現階段，大數據分析的核心其實是發現數據。要是沒有毫秒級延遲，面對數百萬次/數十億次的迭代，運行迭代以查找數據點之間的關聯就不會成為現實。在內存中處理的速度比磁盤上處理要快三個數量級。

　　云計算

混合云和公共云服務越來越受歡迎。大數據成功的關鍵是在彈性基礎設施上運行(Hadoop)平臺。

我們會看到數據存儲和分析趨于融合，帶來新的更智能的存儲系統，它們將經過優化，用于存儲、管理和排序龐大的PB級數據集。展望未來，我們可以預計會看到基于云的大數據生態系統在整個繼續迎來發展，不僅僅局限于“早期采用者”。

許多公司想要讓自己可以擴展的平臺，通過大力投資于最終僵化的數據中心是不可能做到這點的。比如說，人類基因組計劃一開始是個GB級項目，但是很快達到了TB級和PB級。一些領先的企業已經開始以雙模(bi-modal)方式來拆分工作負載，在云端運行一些數據工作負載。許多人預計，隨著這種解決方案在采用周期上深入發展，這個潮流會加快發展。

現在大家很重視API，以一種可重用的方式來發掘數據和功能，許多公司期望在云端和數據中心運行其API。本地API提供了一種無縫的方式來發掘傳統系統，并將它們與云應用程序連接起來，這對于希望實現云優先戰略的公司來說至關重要。

更多的公司會在云端運行API，提供彈性，以便更好地應對需求高峰，并建立高效的連接，從而讓它們能夠比競爭對手更迅速地適應和創新。

　　Apache Spark

Apache Spark在點亮大數據。流行的Apache Spark項目提供了Spark Streaming技術，通過主要采用一種在內存中微批量處理的方法，近實時地處理數據流。它已從Hadoop生態系統的一部分，變成許多企業青睞的一種大數據平臺。

Spark現在是最龐大的大數據開源項目，相比Hadoop它提供了顯著加快的數據處理速度因此，對于程序員來說極其自然、極加精確、極其方便。它為并行執行提供了一種高效的通用框架。

Spark StreamingSpark的主要部分，被用來借助處理器核心，流式傳輸大塊的數據，為此將大數據分割成更小的數據包，然后對其進行轉換，因而加快彈性分布式數據集(RDD)的創建。這在當下非常有用，如今數據分析通常需要一組協同運行的機器的資源。

然而值得一提的是，Spark旨在改進而不是替換Hadoop架構。為了從大數據獲得更大的價值，許多公司考慮結合使用HadoopSpark，以獲得更好的分析和存儲功能。