9種增長快、薪酬高且無需認(rèn)證的技術(shù)技能
如今的雇主更愿意為多達(dá)578種無需認(rèn)證的技術(shù)技能支付更多的費(fèi)用,或者說這些技能沒有相應(yīng)的認(rèn)證,或者對(duì)投資這些技能的雇主來說無關(guān)緊要。
對(duì)于這些技術(shù)技能的調(diào)查統(tǒng)計(jì)數(shù)據(jù)令人印象深刻,在多達(dá)3,510個(gè)私營和公共部門中,78,138名美國和加拿大的技術(shù)專業(yè)人員通過其認(rèn)證和非認(rèn)證技能獲得薪酬。自從2000年以來,調(diào)研機(jī)構(gòu)每季度都會(huì)發(fā)布IT技能和認(rèn)證薪酬指數(shù)(ITSCPI)的跟蹤調(diào)查報(bào)告。
熱門技能排名
人們可能已經(jīng)注意到,與科技相關(guān)的熱門工作、熱門技能、熱門城市以及專業(yè)人士最佳雇主的排名名單并不缺乏。而人們一定想知道這些名單是如何創(chuàng)建的。
有關(guān)熱門技能和認(rèn)證的排名的文章通常按支付給具有這些技能的員工薪酬進(jìn)行排名。問題在于,薪酬是為企業(yè)員工的所有工作支付費(fèi)用,而不僅僅是特定的需求技能或證書提供費(fèi)用。使用這種方法,是否有可能劃分開特定認(rèn)證或非認(rèn)證技能的薪酬是多少,以及各種職責(zé)和工作,以及為各種職責(zé)、知識(shí)和能力或必要的軟技能支付多少薪酬?很少有人嘗試對(duì)此進(jìn)行細(xì)化。
排名靠前的熱門技能列表的另一個(gè)流行來源是工作板塊(例如Dice、Hired、Monster、Indeed),該板塊使用關(guān)鍵字搜索來統(tǒng)計(jì)工作職位中提及的人數(shù),然后按數(shù)量對(duì)他們進(jìn)行排名。招聘公司還采用另一種方法,對(duì)企業(yè)高管的薪酬數(shù)據(jù)進(jìn)行調(diào)查或跟蹤。只要足夠聰明,就能夠理解基于數(shù)據(jù)樣本人口統(tǒng)計(jì)、調(diào)查方法、時(shí)間和偏差等因素的結(jié)果,但這也可能出現(xiàn)偏差,因此這些方法各具優(yōu)缺點(diǎn)。
Foote Partners公司采用傳統(tǒng)的研究方法,獨(dú)立跟蹤和報(bào)告20多年來的個(gè)人工作、技能和認(rèn)證績(jī)效,其簡(jiǎn)單目標(biāo)是供應(yīng)商獨(dú)立性、高于平均可靠性的數(shù)據(jù)驗(yàn)證,以及最重要的是達(dá)到更高的精確性。
未經(jīng)認(rèn)證的技術(shù)技能必須滿足兩個(gè)先決條件:為他們賺取薪酬遠(yuǎn)高于IT技能和認(rèn)證薪酬指數(shù)(ITSCPI)中報(bào)告的578種技能的平均水平;此外,他們?cè)诮刂?020年1月1日的六個(gè)月中記錄薪酬市場(chǎng)價(jià)值的增長。以下各項(xiàng)的收入低于基本工資的15%(考慮到調(diào)查報(bào)告中列出所有技能的平均水平是基本薪酬的9.5%,這一點(diǎn)很重要),并按照所賺取的薪酬溢價(jià)和市場(chǎng)價(jià)值增加(包括聯(lián)系)的降序排列。
1. 大數(shù)據(jù)分析
市值增長:11.8%(在截至2020年1月1日的六個(gè)月內(nèi))
在過去兩年中,與大數(shù)據(jù)分析相關(guān)的技能和認(rèn)證的市場(chǎng)價(jià)值每季度都在增長??傮w而言,在過去12個(gè)月中,與106個(gè)與大數(shù)據(jù)相關(guān)未經(jīng)認(rèn)證的技能的薪酬溢價(jià)在市場(chǎng)價(jià)值上增長了4.6%,平均相當(dāng)于基本薪酬的12.3%。
對(duì)于使用高級(jí)數(shù)據(jù)分析使企業(yè)能夠理解、打包和可視化數(shù)據(jù)以提高決策能力的所有興趣。事實(shí)上,所謂的大數(shù)據(jù)技能市場(chǎng)異常波動(dòng):在調(diào)研機(jī)構(gòu)基準(zhǔn)研究中跟蹤的37項(xiàng)(或35%)大數(shù)據(jù)技能在2019年第三季度改變了市場(chǎng)價(jià)值。
2. 規(guī)范分析
市場(chǎng)價(jià)值增長:35%(到2020年1月1日的六個(gè)月內(nèi))
規(guī)范性分析是一個(gè)業(yè)務(wù)分析領(lǐng)域,致力于為特定情況找到最佳的行動(dòng)方案,它與描述性和預(yù)測(cè)性分析都相關(guān)。描述性分析旨在提供對(duì)已發(fā)生情況的洞察力,而預(yù)測(cè)性分析則有助于對(duì)可能發(fā)生的情況進(jìn)行建模和預(yù)測(cè),而描述性分析則在給定已知參數(shù)的情況下,尋求在各種選擇中確定最佳解決方案或結(jié)果。它還可以為如何利用未來機(jī)會(huì)或減輕未來風(fēng)險(xiǎn)提出決策方案,并說明每個(gè)決策方案的含義。在實(shí)踐中,規(guī)范分析可以連續(xù)自動(dòng)地處理新數(shù)據(jù),以提高預(yù)測(cè)的準(zhǔn)確性,并提供更好的決策選項(xiàng)。
規(guī)范分析中使用的具體技術(shù)包括優(yōu)化、模擬、博弈論和決策分析方法。計(jì)算速度的提高和應(yīng)用于數(shù)據(jù)集的復(fù)雜數(shù)學(xué)算法的發(fā)展,推動(dòng)了對(duì)規(guī)定性分析技能的需求。
規(guī)范分析可以兩種方式使用:
- 通過分析通知決策邏輯。決策邏輯需要數(shù)據(jù)作為決策的輸入。數(shù)據(jù)的準(zhǔn)確性和及時(shí)性將確保決策邏輯將按預(yù)期運(yùn)行。決策邏輯是人員的邏輯還是嵌入在應(yīng)用程序中都沒有關(guān)系,在兩種情況下,規(guī)范分析都會(huì)為流程提供輸入。規(guī)定性分析可以像匯總分析有關(guān)客戶上個(gè)月在產(chǎn)品上花費(fèi)多少費(fèi)用一樣簡(jiǎn)單,也可以像預(yù)測(cè)向客戶提供最佳報(bào)價(jià)的預(yù)測(cè)模型一樣復(fù)雜。決策邏輯甚至可以包括優(yōu)化模型,以確定向客戶提供多少折扣。
- 發(fā)展決策邏輯。決策邏輯必須發(fā)展以改善或保持其有效性。在某些情況下,決策邏輯本身可能會(huì)隨著時(shí)間的推移而出現(xiàn)缺陷或退化。衡量和分析企業(yè)決策的有效性或無效性,使開發(fā)人員可以改進(jìn)或重做決策邏輯以使其變得更好。就像營銷經(jīng)理查看電子郵件轉(zhuǎn)換率,并調(diào)整決策邏輯以針對(duì)其他受眾一樣簡(jiǎn)單?;蛘?,它可以像在電子郵件營銷活動(dòng)的決策邏輯中嵌入機(jī)器學(xué)習(xí)模型一樣復(fù)雜,以自動(dòng)調(diào)整向目標(biāo)受眾發(fā)送的內(nèi)容。
3. DevSecOps
市值增長:12.5%(在截至2020年1月1日的六個(gè)月中)
DevSecOps是將安全實(shí)踐整合到DevOps流程中的理念,涉及通過發(fā)布工程師與安全團(tuán)隊(duì)之間持續(xù),靈活的協(xié)作來創(chuàng)建“安全即代碼”文化。這是對(duì)原有的安全模型在現(xiàn)代連續(xù)交付流程中產(chǎn)生瓶頸影響的自然而必要的回應(yīng)。目標(biāo)是彌合IT與安全性之間的傳統(tǒng)鴻溝,同時(shí)確保快速安全地交付代碼。在交付過程的所有階段中,孤島思維被越來越多的通信和安全任務(wù)的共同責(zé)任所取代。
在DevSecOps中,兩個(gè)看似相反的目標(biāo)——“交付速度”和“安全代碼”被合并為一個(gè)簡(jiǎn)化的過程。為了與敏捷中的精益實(shí)踐保持一致,安全測(cè)試在迭代中完成,而不會(huì)減慢交付周期。關(guān)鍵的安全問題在出現(xiàn)時(shí)就需要得到處理,而不是在威脅或入侵發(fā)生后才進(jìn)行處理。
以下是DevSecOps方法的六個(gè)重要組成部分:
- 代碼分析–將代碼分成小塊交付,以便快速識(shí)別漏洞。
- 變更管理–通過允許任何人提交變更來提高速度和效率,然后確定變更是好是壞。
- 合規(guī)性監(jiān)控–隨時(shí)準(zhǔn)備進(jìn)行審核(這意味著保持合規(guī)性處于恒定狀態(tài),其中包括收集GDPR合規(guī)性和PCI合規(guī)性等證據(jù))。
- 威脅調(diào)查–每次代碼更新時(shí)識(shí)別潛在的新興威脅,并能夠快速做出響應(yīng)。
- 漏洞評(píng)估–通過代碼分析識(shí)別新漏洞,然后分析響應(yīng)和修補(bǔ)漏洞的速度。
- 安全培訓(xùn)–培訓(xùn)軟件和IT工程師,為其設(shè)定例行程序提供指導(dǎo)。
4. 安全架構(gòu)和模型
市場(chǎng)價(jià)值增長:5.9%(在截至2020年1月1日的六個(gè)月中)
計(jì)算機(jī)和信息安全中的兩個(gè)基本概念是安全模型,它概述了如何實(shí)現(xiàn)安全性(換句話說是否提供了“藍(lán)圖”)和實(shí)現(xiàn)該藍(lán)圖的計(jì)算機(jī)系統(tǒng)的安全架構(gòu)。安全架構(gòu)是從安全角度對(duì)整個(gè)系統(tǒng)架構(gòu)的看法。
為了滿足安全性要求,對(duì)計(jì)算機(jī)系統(tǒng)進(jìn)行了組裝。它描述了邏輯硬件、操作系統(tǒng)和軟件安全等組件,以及如何實(shí)現(xiàn)這些組件來設(shè)計(jì)、構(gòu)建和評(píng)估計(jì)算機(jī)系統(tǒng)的安全性。在過去一年中,網(wǎng)絡(luò)安全相關(guān)技能的薪酬增長了近3%,而威脅環(huán)境仍然是一個(gè)核心業(yè)務(wù)問題,調(diào)研機(jī)構(gòu)預(yù)計(jì),用于安全模型和架構(gòu)的技能在未來將繼續(xù)保持強(qiáng)勁發(fā)展勢(shì)頭。
數(shù)據(jù)可以在全球任何地方即時(shí)復(fù)制和傳遞,這是新經(jīng)濟(jì)的基本資源。數(shù)字創(chuàng)新依賴于數(shù)據(jù)、元數(shù)據(jù)和人工智能(AI)協(xié)同工作,以創(chuàng)建隨著時(shí)間推移變得更智能的系統(tǒng)。但是,雖然數(shù)據(jù)被用來推動(dòng)決策和洞察,但它是存儲(chǔ)所學(xué)知識(shí)的元數(shù)據(jù)——哪些有用,什么時(shí)候使用,還有什么尚不確定,這是“更智能”的關(guān)鍵。去年,數(shù)字轉(zhuǎn)型正推動(dòng)人們對(duì)元數(shù)據(jù)設(shè)計(jì)和開發(fā)技能產(chǎn)生新的興趣。
5. 智能合約
市場(chǎng)價(jià)值增長:13.3%(在截至2020年1月1日的六個(gè)月中)
智能合約可幫助企業(yè)以透明,無沖突的方式交換金錢、財(cái)產(chǎn)、股票或任何有價(jià)物品,同時(shí)避免中間人的服務(wù)。它們是運(yùn)行區(qū)塊鏈的去中心化分類賬系統(tǒng)的產(chǎn)品,因此智能合約的技能與以太坊等都得到了飛躍發(fā)展,其用途幾乎無限,從金融衍生品到保險(xiǎn)費(fèi)、違約合同、財(cái)產(chǎn)法、信貸執(zhí)法、金融服務(wù)、法律程序和眾籌協(xié)議。
6. 數(shù)據(jù)工程
市場(chǎng)價(jià)值增長:6.3%(在截至2020年1月1日的六個(gè)月中)
數(shù)據(jù)工程是數(shù)據(jù)科學(xué)的一個(gè)方面,專注于數(shù)據(jù)收集和分析的實(shí)際應(yīng)用。對(duì)于數(shù)據(jù)科學(xué)家使用大量信息來分析問題等工作,都必須有收集和驗(yàn)證其信息的機(jī)制。為了使這項(xiàng)工作最終具有任何價(jià)值,還必須有某種機(jī)制以某種方式將其應(yīng)用于實(shí)際操作。這些都是工程任務(wù):將科學(xué)應(yīng)用于實(shí)際的功能系統(tǒng)。
7. 神經(jīng)網(wǎng)絡(luò)
市場(chǎng)價(jià)值增長:14.3%(在截至2020年1月1日的六個(gè)月中)
神經(jīng)網(wǎng)絡(luò)是一組算法,可以根據(jù)人類的大腦進(jìn)行寬松建模,旨在識(shí)別模式。他們通過一種機(jī)器感知,標(biāo)記或聚集原始輸入來解釋感官數(shù)據(jù)。他們識(shí)別出的模式是數(shù)字的,包含在向量中,所有真實(shí)世界的數(shù)據(jù)(包括圖像、聲音、文本或時(shí)間序列)都必須轉(zhuǎn)換為數(shù)字,并有助于聚類和分類。
企業(yè)可以將它們視為存儲(chǔ)和管理的數(shù)據(jù)之上的聚類和分類層。它們有助于根據(jù)示例輸入之間的相似性對(duì)未標(biāo)記的數(shù)據(jù)進(jìn)行分組,并且當(dāng)它們具有要標(biāo)記的數(shù)據(jù)集時(shí),可以對(duì)數(shù)據(jù)進(jìn)行分類。神經(jīng)網(wǎng)絡(luò)還可以提取提供給其他算法進(jìn)行聚類和分類的功能,因此企業(yè)可以將深度神經(jīng)網(wǎng)絡(luò)視為涉及增強(qiáng)學(xué)習(xí)、分類和回歸算法的大型機(jī)器學(xué)習(xí)應(yīng)用程序的組成部分。
8. Apache Zookeeper
市場(chǎng)價(jià)值增長:6.7%(在截至2020年1月1日的六個(gè)月中)
Apache ZooKeeper本質(zhì)上是用于分布式系統(tǒng)的服務(wù)。它提供了用于提供分布式配置服務(wù)的分層鍵值存儲(chǔ),同步服務(wù)以及大型分布式系統(tǒng)的命名注冊(cè)表。作為Hadoop的子項(xiàng)目引入,現(xiàn)在它本身就是一個(gè)頂級(jí)Apache項(xiàng)目。ZooKeeper的架構(gòu)通過冗余服務(wù)支持高可用性。因此,客戶可以詢問ZooKeeper管理員。ZooKeeper節(jié)點(diǎn)將數(shù)據(jù)存儲(chǔ)在分層名稱空間中,就像文件系統(tǒng)或樹數(shù)據(jù)結(jié)構(gòu)一樣??蛻舳丝梢詮墓?jié)點(diǎn)上讀取和寫入節(jié)點(diǎn),并以此方式獲得共享的配置服務(wù)。
Apache ZooKeeper的一些主要功能如下:
- 可靠的系統(tǒng):該系統(tǒng)非??煽浚?yàn)榧词构?jié)點(diǎn)發(fā)生故障,它也可以正常工作。
- 簡(jiǎn)單的架構(gòu):ZooKeeper架構(gòu)非常簡(jiǎn)單,因?yàn)橛幸粋€(gè)共享的分層名稱空間可以幫助協(xié)調(diào)流程。
- 快速處理:ZooKeeper在“讀取為主”工作負(fù)載(即讀取比寫入更常見的工作負(fù)載)中特別快。
- 可擴(kuò)展:可以通過添加節(jié)點(diǎn)來提高ZooKeeper的性能。
Amazon DynamoDB是AWS公司產(chǎn)品組合的一部分,是一項(xiàng)完全托管的專有NoSQL數(shù)據(jù)庫服務(wù),支持鍵值和文檔數(shù)據(jù)結(jié)構(gòu)。DynamoDB公開了與Dynamo相似的數(shù)據(jù)模型(并從中獲得其名稱),但是具有不同的實(shí)現(xiàn)。它使用跨多個(gè)數(shù)據(jù)中心的同步復(fù)制來實(shí)現(xiàn)高耐用性和可用性,并且與AWS其他服務(wù)不同,它允許開發(fā)人員根據(jù)吞吐量而不是存儲(chǔ)來購買服務(wù)。管理員可以請(qǐng)求更改吞吐量,并且DynamoDB將使用固態(tài)驅(qū)動(dòng)器將數(shù)據(jù)和流量分布在許多服務(wù)器上,從而實(shí)現(xiàn)可預(yù)測(cè)的性能。它通過Elastic MapReduce提供與Hadoop的集成。
主數(shù)據(jù)管理(MDM)產(chǎn)生于企業(yè)改善其關(guān)鍵數(shù)據(jù)資產(chǎn)(如產(chǎn)品數(shù)據(jù)、資產(chǎn)數(shù)據(jù)、客戶數(shù)據(jù)、位置數(shù)據(jù)等)的一致性和質(zhì)量的必要性。當(dāng)今,許多企業(yè)(尤其是全球性企業(yè))具有數(shù)百個(gè)獨(dú)立的應(yīng)用程序和系統(tǒng),跨組織部門或部門的數(shù)據(jù)很容易變得零散和重復(fù),最常見的是過時(shí)的。發(fā)生這種情況時(shí),很難準(zhǔn)確回答有關(guān)企業(yè)任何類型的績(jī)效指標(biāo)或關(guān)鍵績(jī)效指標(biāo)(KPI)的最基本但最關(guān)鍵的問題。對(duì)準(zhǔn)確及時(shí)的信息的基本需求非常迫切,并且隨著數(shù)據(jù)源的增加,對(duì)其進(jìn)行一致的管理并保持?jǐn)?shù)據(jù)定義的最新性,因此企業(yè)的所有部門都使用相同的信息是一個(gè)永無止境的挑戰(zhàn)。這就是將繼續(xù)推動(dòng)主數(shù)據(jù)管理(MDM)技能發(fā)展的原因。
數(shù)據(jù)科學(xué)是一個(gè)多學(xué)科領(lǐng)域,它使用科學(xué)方法、過程、算法和系統(tǒng)從結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中提取知識(shí)和見解。數(shù)據(jù)科學(xué)與數(shù)據(jù)挖掘和大數(shù)據(jù)是同一個(gè)概念:使用最強(qiáng)大的硬件、最強(qiáng)大的編程系統(tǒng)和最有效的算法來解決問題。數(shù)據(jù)科學(xué)繼續(xù)發(fā)展成為技術(shù)專業(yè)人員最有前途和最有需求的職業(yè)道路之一。如今,數(shù)據(jù)專業(yè)人士明白,他們必須超越分析大量數(shù)據(jù)、數(shù)據(jù)挖掘和編程技能的傳統(tǒng)技能。為了為組織發(fā)現(xiàn)有用的情報(bào),數(shù)據(jù)科學(xué)家必須掌握數(shù)據(jù)科學(xué)生命周期的全部知識(shí),并具有一定程度的靈活性和理解力,以便在過程的每個(gè)階段獲得最大的回報(bào)。
Scala編程語言(“可擴(kuò)展”的縮寫)彌補(bǔ)了Java中的許多缺陷,可以與Java集成,同時(shí)優(yōu)化代碼以并發(fā)工作。它最吸引已經(jīng)投資Java并且不想在生產(chǎn)環(huán)境中支持任何新事物的企業(yè)。
密碼學(xué)是在被稱為對(duì)手的第三方的情況下進(jìn)行安全通信的技術(shù)實(shí)踐和研究。通常,密碼學(xué)是關(guān)于構(gòu)造和分析防止第三方或公眾讀取私人消息的協(xié)議。信息安全性的各個(gè)方面(例如數(shù)據(jù)機(jī)密性、數(shù)據(jù)完整性、身份驗(yàn)證和不可否認(rèn)性)對(duì)于現(xiàn)代密碼學(xué)至關(guān)重要?,F(xiàn)代密碼學(xué)存在于數(shù)學(xué)、計(jì)算機(jī)科學(xué)、電氣工程、通信科學(xué)和物理學(xué)等學(xué)科的交匯處。密碼學(xué)的應(yīng)用包括電子商務(wù)、基于芯片的支付卡、數(shù)字貨幣、計(jì)算機(jī)密碼和軍事通信。
如今,密碼學(xué)主要基于數(shù)學(xué)理論和計(jì)算機(jī)科學(xué)實(shí)踐。密碼算法是圍繞計(jì)算硬度假設(shè)進(jìn)行設(shè)計(jì)的,這使得此類算法在實(shí)踐中很難被對(duì)手突破。理論上有可能破壞這樣的系統(tǒng),但是采用任何已知的實(shí)際手段來破壞是不可行的。因此,這些方案被稱為“計(jì)算安全”;理論上的技術(shù)進(jìn)步(例如整數(shù)因數(shù)分解算法的改進(jìn))以及更快的計(jì)算技術(shù),要求這些解決方案必須不斷調(diào)整。存在信息理論上安全的方案,即使具有無限的計(jì)算能力,也無法證明是可靠的方案,但是這些方案比最佳的理論上可破解但計(jì)算安全的機(jī)制在實(shí)踐中更難使用。
9. TensorFlow
市場(chǎng)價(jià)值增長:7.1%(在截至2020年1月1日的六個(gè)月中)
TensorFlow是谷歌公司開發(fā)的一種流行的開源深度學(xué)習(xí)庫,它利用機(jī)器學(xué)習(xí)的所有產(chǎn)品,利用其海量數(shù)據(jù)集,改進(jìn)搜索引擎、翻譯、圖像標(biāo)題和推薦。TensorFlow也用于機(jī)器學(xué)習(xí)應(yīng)用,如神經(jīng)網(wǎng)絡(luò)。其靈活的體系結(jié)構(gòu)允許在各種平臺(tái)(CPU、GPU、TPU)上輕松部署計(jì)算,從臺(tái)式機(jī)到服務(wù)器集群,再到移動(dòng)設(shè)備和邊緣設(shè)備。TunSoFror提供穩(wěn)定的Python和C API,而不需要API向后兼容性保證C++、GO、java、JavaScript和SWIFT。第三方軟件包可用于C#、Haskell、Julia、R、Scala、Rust、OCaml和Crystal。
Python一直是TensorFlow的選擇,因?yàn)樵撜Z言非常易于使用,并且擁有豐富的數(shù)據(jù)科學(xué)生態(tài)系統(tǒng),包括諸如Numpy,Scikit-learn和Pandas之類的工具。
美國國家標(biāo)準(zhǔn)技術(shù)研究院(NIST)是美國商務(wù)部的非監(jiān)管機(jī)構(gòu),其任務(wù)是促進(jìn)創(chuàng)新和產(chǎn)業(yè)競(jìng)爭(zhēng)力。美國國家標(biāo)準(zhǔn)技術(shù)研究院(NIST)的活動(dòng)分為實(shí)驗(yàn)室計(jì)劃,其中包括納米級(jí)科學(xué)技術(shù)、工程學(xué)、信息技術(shù)、中子研究、材料測(cè)量和物理測(cè)量??梢哉f,目前在IT市場(chǎng)上對(duì)美國國家標(biāo)準(zhǔn)技術(shù)研究院(NIST)專業(yè)知識(shí)需求最大的推動(dòng)力是其網(wǎng)絡(luò)安全框架,它提供了計(jì)算機(jī)安全指南的政策框架,以指導(dǎo)私營部門組織如何評(píng)估和提高其預(yù)防,檢測(cè)和應(yīng)對(duì)網(wǎng)絡(luò)攻擊的能力。它提供了網(wǎng)絡(luò)安全成果的高級(jí)分類法,以及評(píng)估和管理這些成果的方法,并且被眾多企業(yè)和組織用來幫助組織轉(zhuǎn)變?yōu)橹鲃?dòng)進(jìn)行風(fēng)險(xiǎn)管理。
Amazon Kinesis是一種AWS公司用于實(shí)時(shí)處理大數(shù)據(jù)的工具。Kinesis能夠每小時(shí)從大量數(shù)據(jù)流中處理數(shù)百TB的數(shù)據(jù),這些數(shù)據(jù)來自諸如操作日志、財(cái)務(wù)交易和社交媒體等來源。 Kinesis填補(bǔ)了Hadoop和其他技術(shù)的空白,這些技術(shù)可批量處理數(shù)據(jù),但無法實(shí)現(xiàn)有關(guān)不斷流式傳輸數(shù)據(jù)的實(shí)時(shí)操作決策。相應(yīng)地,該功能簡(jiǎn)化了編寫依賴于必須實(shí)時(shí)處理的數(shù)據(jù)的應(yīng)用程序的過程。