小雪你好紧好烫好爽_k频道导航入口国产精品_91成人爽a毛片一区二区_羞羞漫画入口在线观看

在過(guò)去的3年中, 隨著用戶(hù)規(guī)模的快速增加和移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的高速發(fā)展, 每天用戶(hù)和服務(wù)產(chǎn)生的數(shù)據(jù)規(guī)模已達(dá)PB級(jí), 電信運(yùn)營(yíng)商面臨著數(shù)據(jù)爆炸式增長(zhǎng)的巨大壓力, 可存儲(chǔ)并對(duì)海量數(shù)據(jù)進(jìn)行分析的Hadoop開(kāi)源系統(tǒng)[1]已成為主流電信運(yùn)營(yíng)商、互聯(lián)網(wǎng)公司的研究和應(yīng)用熱點(diǎn)。然而, Hadoop開(kāi)源系統(tǒng)并不能完全滿(mǎn)足電信運(yùn)營(yíng)商的全部需求 (如交互式查詢(xún)、基于索引的分析優(yōu)化、多租戶(hù)支持等) 。為解決這些問(wèn)題, 設(shè)計(jì)并研發(fā)了Huge Table數(shù)據(jù)倉(cāng)庫(kù)。與Hadoop開(kāi)源系統(tǒng)相比, Huge Table能支持密集索引、稀疏索引和塊索引, 從而加快了查詢(xún)和分析的速度。查詢(xún)過(guò)程中, Huge Table首先會(huì)使用索引。如果沒(méi)有索引, 系統(tǒng)則會(huì)為用戶(hù)提供針對(duì)小數(shù)據(jù)量的順序掃描方式和大數(shù)據(jù)量的Map Reduce方式進(jìn)行查詢(xún)。在實(shí)際的應(yīng)用測(cè)試評(píng)估中, Huge Table的索引和存儲(chǔ)引擎極大地提高了查詢(xún)性能, 滿(mǎn)足了現(xiàn)網(wǎng)服務(wù)系統(tǒng)的性能需求。

自2009年發(fā)放3G牌照后, 我國(guó)現(xiàn)已擁有了上億的移動(dòng)互聯(lián)網(wǎng)用戶(hù), 他們每天通過(guò)手機(jī)對(duì)互聯(lián)網(wǎng)的訪(fǎng)問(wèn)產(chǎn)生了高達(dá)數(shù)十TB的訪(fǎng)問(wèn)記錄。這顯然是傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)所無(wú)法支持的。除存儲(chǔ)容量外, 海量數(shù)據(jù)帶來(lái)的更大挑戰(zhàn)是如何加載、查詢(xún)和分析數(shù)據(jù)。由于商業(yè)數(shù)據(jù)庫(kù)要對(duì)數(shù)據(jù)進(jìn)行排序和建立索引, 所以這是很難加載海量數(shù)據(jù)的。為解決海量數(shù)據(jù)的加載問(wèn)題, 在數(shù)據(jù)庫(kù)中引入了分庫(kù)和分區(qū)的技術(shù)措施, 而分庫(kù)和分區(qū)則導(dǎo)致了海量數(shù)據(jù)查詢(xún)和分析性能的大幅下降。舉例來(lái)說(shuō), 盡管對(duì)建有索引的列進(jìn)行查詢(xún), 其響應(yīng)時(shí)間也往往都在10 s級(jí)。另外, 雖然建立在視圖基礎(chǔ)上的商業(yè)數(shù)據(jù)倉(cāng)庫(kù)針對(duì)常用查詢(xún)也可獲得很好的查詢(xún)性能, 但這些定制化的數(shù)據(jù)倉(cāng)庫(kù)卻很難進(jìn)行水平擴(kuò)展。當(dāng)需要增加節(jié)點(diǎn)時(shí)就必須停服, 且節(jié)點(diǎn)的增加并不能使性能得到線(xiàn)性的增長(zhǎng)。總之, 電信運(yùn)營(yíng)商希望能夠提供一種海量存儲(chǔ)、高可用、高擴(kuò)展、支持結(jié)構(gòu)化查詢(xún)語(yǔ)言 (SQL) 和快速響應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)。

據(jù)此云計(jì)算應(yīng)運(yùn)而生:Google發(fā)布了一系列云計(jì)算技術(shù), 如Google文件系統(tǒng) (GFS) [2]和Map Reduce[3];Apache基于GFS和Map Reduce開(kāi)發(fā)了開(kāi)源軟件Hadoop分布式文件系統(tǒng) (HDFS) [4]。鑒于HDFS具有優(yōu)越的高可用性和高擴(kuò)展性, 因此被廣泛地應(yīng)用到網(wǎng)絡(luò)企業(yè)中, 比如Facebook用其部署了超過(guò)2 000個(gè)節(jié)點(diǎn)的HDFS集群、研發(fā)了Hive[5], 以支持將SQL語(yǔ)句轉(zhuǎn)換為Map Reduce程序。因此, 傳統(tǒng)的基于數(shù)據(jù)庫(kù)的企業(yè)應(yīng)用可運(yùn)行在HDFS上, 并能獲得云計(jì)算的相關(guān)特性。

但對(duì)電信運(yùn)營(yíng)商來(lái)說(shuō), HDFS和Hive并不能滿(mǎn)足其全部需求 (特別是在多表嵌套查詢(xún)處理方面) 。對(duì)于一個(gè)常見(jiàn)的查詢(xún), 如“select a.a1, b.b1, c.c1 from a, b, c where a.employid=b.employid and a.msisdn=c.msisdn”, 系統(tǒng)會(huì)啟動(dòng)多輪Map Reduce迭代計(jì)算, 每輪Map Reduce需通過(guò)掃描所有的數(shù)據(jù)記錄來(lái)獲得結(jié)果。測(cè)試過(guò)程中, GB級(jí)別的表查詢(xún)時(shí)間都需數(shù)個(gè)小時(shí), 而傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)同樣查詢(xún)的響應(yīng)時(shí)間只為分鐘級(jí)別, 所以開(kāi)源系統(tǒng)基于索引的分析性能已成了電信運(yùn)營(yíng)商進(jìn)行部署的最大障礙。

通過(guò)分析HDFS、Hive和Hbase, 我們提出的一種面向電信運(yùn)營(yíng)商的Huge Table能滿(mǎn)足電信運(yùn)營(yíng)商的所有需求, 比如功能、性能、擴(kuò)展性和可管理性等;提出的基于存儲(chǔ)引擎的索引模塊和針對(duì)海量數(shù)據(jù)的查詢(xún)策略, 可創(chuàng)建密集索引、稀疏索引和塊索引。利用密集索引可準(zhǔn)實(shí)時(shí)地查詢(xún)每一條數(shù)據(jù)記錄, 利用稀疏索引可存儲(chǔ)數(shù)據(jù)記錄的塊信息, 利用塊索引可記錄每個(gè)塊里面所包含的索引記錄的區(qū)間信息。對(duì)于Huge Table來(lái)說(shuō), 密集索引、稀疏索引和塊索引對(duì)大部分查詢(xún)都能起到加速作用。在查詢(xún)過(guò)程中, Huge Table首先利用相關(guān)列的索引信息進(jìn)行查詢(xún)。對(duì)于沒(méi)有索引的列, 用戶(hù)可利用Huge Table本身提供的查詢(xún)機(jī)制優(yōu)化查詢(xún)性能。這些查詢(xún)機(jī)制主要包括針對(duì)小數(shù)據(jù)量的順序掃描方式及針對(duì)大數(shù)據(jù)量的并行Map Reduce查詢(xún)機(jī)制。

Huge Table的優(yōu)化主要包括以下幾個(gè)方面。

索引項(xiàng)和記錄項(xiàng)是一一對(duì)應(yīng)的。數(shù)據(jù)是按照索引順序進(jìn)行排列的, 可充分提高查詢(xún)性能。

只記錄索引的塊信息, 可在提供查詢(xún)性能的同時(shí)提高加載性能。可快速定位保存記錄的數(shù)據(jù)塊, 并在塊內(nèi)查詢(xún)數(shù)據(jù)信息。

只記錄數(shù)據(jù)塊內(nèi)的數(shù)據(jù)區(qū)間信息, 在提供查詢(xún)性能的同時(shí)提高加載性能。通過(guò)查詢(xún)數(shù)據(jù)區(qū)間確定是否包含數(shù)據(jù)記錄, 并通過(guò)散列函數(shù)確定該數(shù)據(jù)區(qū)間是否包含該記錄。

分別提供索引查詢(xún)接口。針對(duì)小數(shù)據(jù)量和大數(shù)據(jù)量分別提供順序掃描接口和Map Reduce查詢(xún)接口。

Google文件系統(tǒng)是一種分布式、大規(guī)模可擴(kuò)展、面向密集數(shù)據(jù)存取應(yīng)用的文件系統(tǒng)。該系統(tǒng)具有很強(qiáng)的容錯(cuò)能力, 并能在高并發(fā)場(chǎng)景下提供很高的聚合訪(fǎng)問(wèn)性能。GFS在Google有很廣泛的應(yīng)用, 并涵蓋了眾多產(chǎn)品線(xiàn)及研究項(xiàng)目。當(dāng)前, Google內(nèi)部規(guī)模最大的GFS集群甚至包括有上千個(gè)物理節(jié)點(diǎn), 可提供上百TB存儲(chǔ)能力, 可供數(shù)百個(gè)客戶(hù)端并發(fā)訪(fǎng)問(wèn)。

MR是一種用于處理海量數(shù)據(jù)的并行編程模型框架, Map函數(shù)用于對(duì)輸入的鍵值對(duì)進(jìn)行處理并生成中間結(jié)果鍵值對(duì), Reduce匯總具有相同鍵的所有值并輸出匯總計(jì)算結(jié)果。該模型編寫(xiě)程序能自動(dòng)并行地運(yùn)行在大規(guī)模部署的通用商業(yè)計(jì)算節(jié)點(diǎn)上。MR運(yùn)行環(huán)境會(huì)自動(dòng)完成很多并行化工作 (如分區(qū)輸入數(shù)據(jù)、調(diào)度運(yùn)算任務(wù)、處理運(yùn)行錯(cuò)誤等) , 這大大降低了并行程序的開(kāi)發(fā)門(mén)檻, 能讓更多的沒(méi)有相關(guān)經(jīng)驗(yàn)的用戶(hù)方便地利用大規(guī)模分布式系統(tǒng)的資源。

Big Table是一種用于結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、具有強(qiáng)大可擴(kuò)展能力的分布式系統(tǒng), 通常規(guī)模可達(dá)上千個(gè)節(jié)點(diǎn)、存儲(chǔ)容量可達(dá)PB級(jí)。目前, Google網(wǎng)頁(yè)索引、Google地球、Google金融等產(chǎn)品都在使用Big Table。

GFS、MR和BigTable在Google的成功, 催生了一系列開(kāi)源軟件, 例如:Hadoop實(shí)現(xiàn)了GFS/MR功能, HBase實(shí)現(xiàn)了BigTable功能, 而Hive則能將SQL語(yǔ)句翻譯成Map Reduce程序, 可使更多的傳統(tǒng)數(shù)據(jù)庫(kù)用戶(hù)方便地利用云計(jì)算平臺(tái)完成他們所熟悉的SQL任務(wù)。

此外, Flume[6]和Zookeeper[7]也是非常重要的開(kāi)源軟件。它們可分別用于數(shù)據(jù)/日志加載和數(shù)據(jù)節(jié)點(diǎn)狀態(tài)管理/分布式鎖。

HugeTable是一種結(jié)構(gòu)化的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)。它支持傳統(tǒng)的SQL查詢(xún), 主要面向于電信方面的應(yīng)用。基于中國(guó)移動(dòng)前臺(tái)業(yè)務(wù)及后臺(tái)系統(tǒng)對(duì)性能、功能、可擴(kuò)展性、可管理性等方面的需求, 我們?cè)陂_(kāi)發(fā)過(guò)程中整合并改進(jìn)了HDFS、HBase、Hive、ZK等開(kāi)源軟件。

基于HugeTable的各種存儲(chǔ)引擎, 我們?cè)O(shè)計(jì)了密集索引、稀疏索引和塊索引。在查詢(xún)過(guò)程中, Huge Table首先要檢查是否存在索引。有索引時(shí)HugeTable利用索引對(duì)數(shù)據(jù)進(jìn)行快速的定位和掃描, 無(wú)索引時(shí)Huge Table會(huì)根據(jù)數(shù)據(jù)量的大小分別啟動(dòng)順序掃描或Map Reduce掃描來(lái)獲得查詢(xún)結(jié)果。HugeTable系統(tǒng)架構(gòu)見(jiàn)圖1。由圖1可知, HugeTable是基于開(kāi)源軟件Hadoop和Hive研發(fā)的, 開(kāi)發(fā)了索引機(jī)制和查詢(xún)模塊。

圖1 HugeTable系統(tǒng)架構(gòu)   下載原圖

下面主要介紹HugeTable索引的設(shè)計(jì)方案。

在密集索引中, 每條記錄都對(duì)應(yīng)著一條索引項(xiàng), 如B+樹(shù)就是一種典型的密集索引結(jié)構(gòu)。HugeTable的主要存儲(chǔ)引擎都支持主索引和多個(gè)二級(jí)索引, 數(shù)據(jù)記錄是按照主索引排序的。HugeTable在建表時(shí)即需創(chuàng)建主索引, 而二級(jí)索引則可在數(shù)據(jù)加載后通過(guò)一個(gè)MapReduce作業(yè)來(lái)創(chuàng)建。

密集索引的優(yōu)勢(shì)主要體現(xiàn)在索引列的高性能查詢(xún)能力上。例如:采用XXX列索引查詢(xún)語(yǔ)句“select*from table1 where id=XXX”時(shí), 只需查詢(xún)XXX列索引, 得到記錄位置后即可讀取數(shù)據(jù), 查詢(xún)響應(yīng)時(shí)間約為10 ms。當(dāng)不采用XXX列索引而采用Map Reduce進(jìn)行數(shù)據(jù)掃描時(shí), 作業(yè)初始化時(shí)間則至少為秒級(jí)。因此, 密集索引可提高索引列的查詢(xún)響應(yīng)性能, 并降低數(shù)據(jù)IO開(kāi)銷(xiāo)。

稀疏索引記錄每個(gè)數(shù)據(jù)塊所包含的最大和最小鍵值。查詢(xún)時(shí), 將待查詢(xún)鍵值與每個(gè)索引項(xiàng)的最大和最小鍵值進(jìn)行比較而得到候選索引項(xiàng)。每個(gè)索引項(xiàng)包含有多個(gè)屬性值 (如最小、最大鍵值和文件塊號(hào)) 。數(shù)據(jù)庫(kù)中的數(shù)據(jù)以文件塊的方式進(jìn)行存儲(chǔ), 文件塊的大小在不同系統(tǒng)中有所不同, 每個(gè)文件塊都有對(duì)應(yīng)的編號(hào), 即文件塊號(hào)。最大鍵值和最小鍵值分別是指該文件塊內(nèi)所有鍵值中的最大值和最小值。

以電信領(lǐng)域的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)為例, 由于系統(tǒng)在一段時(shí)間內(nèi)會(huì)產(chǎn)生與同一個(gè)移動(dòng)用戶(hù)號(hào)碼 (MSISDN) 相關(guān)的多條日志記錄, 與同一個(gè)MSISDN相關(guān)的多條記錄都有可能存儲(chǔ)在同一個(gè)數(shù)據(jù)塊中, 亦即同一個(gè)數(shù)據(jù)塊中可能包含有多條具有相同MSIDSN的記錄。

基于上述特征, 我們提出了塊索引方案。塊索引格式為“<key, file ID, block ID>”, 表示在block ID塊中包含了某個(gè)key, 在該塊中可能會(huì)包含多個(gè)相同的key。以一個(gè)具有6.4萬(wàn)條記錄的數(shù)據(jù)塊中只包含100個(gè)不同的MSISDN記錄項(xiàng)的場(chǎng)景為例 (此時(shí)可將MSISDN定義為“key”) , 采用密集索引時(shí)對(duì)同一個(gè)塊會(huì)產(chǎn)生6.4萬(wàn)條記錄, 而采用塊索引時(shí)只需100條索引記錄。因此與密集索引相比, 塊索引可極大地減少索引數(shù)據(jù)量。

塊索引的優(yōu)勢(shì)主要體現(xiàn)在以下3個(gè)方面。

與密集索引相比, 由于塊索引的數(shù)據(jù)量較小, 因此讀取索引數(shù)據(jù)的開(kāi)銷(xiāo)也較小。

在塊索引列上查詢(xún), 可首先通過(guò)塊索引過(guò)濾掉不滿(mǎn)足條件的數(shù)據(jù)塊, 只讀取相關(guān)數(shù)據(jù)塊, 從而提高了查詢(xún)性能。

通常在加載數(shù)據(jù)的同時(shí)就可以創(chuàng)建索引。

與加載數(shù)據(jù)本身相比, 創(chuàng)建塊索引的成本較低。

以Hive和Hadoop為原型的系統(tǒng), 是將每個(gè)SQL查詢(xún)都轉(zhuǎn)化為MapReduce查詢(xún)來(lái)獲得數(shù)據(jù)的。這種方式無(wú)法滿(mǎn)足電信數(shù)據(jù)倉(cāng)庫(kù)的實(shí)時(shí)響應(yīng)性能需求, 比如:在數(shù)據(jù)倉(cāng)庫(kù)中對(duì)字典表進(jìn)行的查詢(xún), 啟動(dòng)MapReduce本身的時(shí)間要遠(yuǎn)大于數(shù)據(jù)本身的掃描時(shí)間。此外, 索引一般都比數(shù)據(jù)小很多, 所以?huà)呙杷饕葦?shù)據(jù)快得多。

針對(duì)上述特性, HugeTable提出了如圖2所示的查詢(xún)框架。當(dāng)應(yīng)用提交一個(gè)查詢(xún)SQL時(shí), HugeTable首先會(huì)分析查詢(xún)列的情況:該列有索引時(shí)掃描索引就可獲得查詢(xún)結(jié)果, 該列無(wú)索引時(shí)用戶(hù)可根據(jù)應(yīng)用和數(shù)據(jù)量本身的特點(diǎn)選擇不同的查詢(xún)方式。比如, 用戶(hù)數(shù)據(jù)量較小時(shí)可選擇順序掃描查詢(xún)方式。由于該方式不需啟動(dòng)MapReduce, 節(jié)省了啟動(dòng)時(shí)間, 所以能提供實(shí)時(shí)的查詢(xún)響應(yīng)能力。另外, 當(dāng)應(yīng)用需要實(shí)時(shí)數(shù)據(jù)查詢(xún)響應(yīng)能力時(shí), 也可優(yōu)先選擇該查詢(xún)方式;相反, 當(dāng)用戶(hù)數(shù)據(jù)量巨大或應(yīng)用只需準(zhǔn)實(shí)時(shí)查詢(xún)響應(yīng)能力時(shí), 用戶(hù)需選擇MapReduce查詢(xún)機(jī)制。

圖2 HugeTable查詢(xún)框架   下載原圖

HugeTable系統(tǒng)已在中國(guó)移動(dòng)現(xiàn)網(wǎng)系統(tǒng)中進(jìn)行了大量的應(yīng)用測(cè)試評(píng)估 (包括四川音樂(lè)基地及諾西網(wǎng)關(guān)日志存儲(chǔ)系統(tǒng)) 。作為數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng), HugeTable同時(shí)也被用于保存GPRS CDR數(shù)據(jù)。試驗(yàn)系統(tǒng)的測(cè)試集群包括1個(gè)HugeTable主控節(jié)點(diǎn)和4個(gè)HugeTable數(shù)據(jù)節(jié)點(diǎn)。在四川音樂(lè)基地測(cè)試中, HugeTable能在規(guī)定的時(shí)間內(nèi)進(jìn)行音樂(lè)訂購(gòu)關(guān)系的查詢(xún)和分析處理;在諾西網(wǎng)關(guān)日志存儲(chǔ)系統(tǒng)測(cè)試中, HugeTable在加載過(guò)程中能快速地建立有效的索引系統(tǒng), 為高速查詢(xún)分析提供了基礎(chǔ)。在后續(xù)的查詢(xún)過(guò)程中, 稀疏索引也有效地提高了查詢(xún)分析性能。

在過(guò)去的3年里, 由于用戶(hù)和移動(dòng)數(shù)據(jù)業(yè)務(wù)的快速增長(zhǎng), 電信服務(wù)提供商面臨著數(shù)據(jù)爆炸式增長(zhǎng)挑戰(zhàn)。傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng) (RDBMS) 已出現(xiàn)了伸縮性不足及性?xún)r(jià)比高的瓶頸, 與此同時(shí)云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)已提供了RDBMS的限制能力。基于此, 我們研發(fā)了面向電信業(yè)務(wù)的HugeTable數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。

在HugeTable系統(tǒng)中, 我們?cè)O(shè)計(jì)了稀疏索引用于加速查詢(xún)性能, 設(shè)計(jì)了密集索引用于滿(mǎn)足高性能交互式索引查詢(xún)。在索引查詢(xún)基礎(chǔ)上, 我們還實(shí)現(xiàn)了針對(duì)小數(shù)據(jù)量的順序掃描實(shí)時(shí)查詢(xún)和海量數(shù)據(jù)的MapReduce查詢(xún)。在對(duì)中國(guó)移動(dòng)現(xiàn)網(wǎng)系統(tǒng)的應(yīng)用評(píng)估中, HugeTable的功能和性能均已達(dá)到了應(yīng)用水平。