技術(shù)干貨 | 大數(shù)據(jù)平臺(tái)的多租戶管理

1、什么是租戶，租戶和用戶的區(qū)別

租戶和用戶是兩個(gè)常常會(huì)混淆的概念。簡(jiǎn)單來(lái)說(shuō)，用戶是一個(gè)資源的使用者，而租戶通常是指一個(gè)企業(yè)或組織，租戶對(duì)資源具有獨(dú)占性和排他性。

打個(gè)比方，用戶（User）好比是在大學(xué)宿舍中的一個(gè)大學(xué)生，他可以使用這個(gè)宿舍里的所有資源，其他用戶也可以使用這些資源。

而租戶（Tenant），就好比是豬籠城寨里的裁縫、苦力強(qiáng)。他們從包租婆那里租下一個(gè)房間，這個(gè)房間是他們各自獨(dú)享的空間和資源。

一個(gè)租戶中可以有多個(gè)用戶，而一個(gè)用戶也屬于某個(gè)租戶。

2、什么是多租戶管理

多租戶是一個(gè)軟件架構(gòu)，軟件只有一個(gè)實(shí)例運(yùn)行在服務(wù)器，并服務(wù)于多個(gè)租戶。一個(gè)租戶包含一組用戶，他們擁有指定權(quán)限，共同訪問(wèn)一個(gè)軟件實(shí)例。一個(gè)多租戶架構(gòu)，應(yīng)用程序?yàn)槊總€(gè)租戶提供一個(gè)專屬于他們的數(shù)據(jù)、配置、用戶管理、租戶特有的功能和屬性。

多租戶技術(shù)有著悠久的歷史，從IBM大型機(jī)的時(shí)代開(kāi)始，為了能充分利用當(dāng)時(shí)非常昂貴的計(jì)算資源，就已經(jīng)產(chǎn)生了用多租戶的方式來(lái)進(jìn)行資源的分配。

而如今隨著云計(jì)算、SaaS服務(wù)的興起，多租戶模式也得到來(lái)越來(lái)越廣泛的應(yīng)用。

多租戶管理的優(yōu)點(diǎn)在于：

降低系統(tǒng)運(yùn)維成本

通過(guò)多租戶數(shù)據(jù)資源隔離機(jī)制，提高數(shù)據(jù)的安全性

3、大數(shù)據(jù)平臺(tái)的多租戶管理

隨著數(shù)據(jù)量的飛速增長(zhǎng)和大數(shù)據(jù)技術(shù)的日益成熟，越來(lái)越多的企業(yè)和政府機(jī)構(gòu)著手建設(shè)基于Hadoop技術(shù)體系的大數(shù)據(jù)平臺(tái)，并在大數(shù)據(jù)集群上陸續(xù)展開(kāi)了越來(lái)越多的應(yīng)用場(chǎng)景。在企業(yè)內(nèi)部，大量業(yè)務(wù)應(yīng)用架設(shè)在同一個(gè)Hadoop集群上，容易出現(xiàn)數(shù)據(jù)與集群資源混亂無(wú)序的狀態(tài)。特別是對(duì)于集團(tuán)性質(zhì)的企業(yè)，有著強(qiáng)烈的統(tǒng)一建設(shè)大數(shù)據(jù)平臺(tái)、共享資源的需求。既希望通過(guò)建設(shè)統(tǒng)一的大數(shù)據(jù)平臺(tái)，供給各個(gè)下屬子公司使用來(lái)降低成本，同時(shí)又必須能夠做到各個(gè)下屬子公司之間的數(shù)據(jù)隔離和資源分配，也就是要建立大數(shù)據(jù)平臺(tái)的多租戶管理機(jī)制。

然而，目前的開(kāi)源大數(shù)據(jù)平臺(tái)對(duì)于多租戶管理的支持并不友好，對(duì)于用戶來(lái)說(shuō)缺少易于管理和配置的多租戶管理工具?？梢哉f(shuō)在Hadoop技術(shù)棧中，租戶這個(gè)概念是欠缺的。

實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)的多租戶管理，最核心的功能是對(duì)各類大數(shù)據(jù)組件的資源、配額和權(quán)限管理，涉及到的主要資源類型有：

HDFS：空間配額和ACL訪問(wèn)權(quán)限

HBase：命名空間和表授權(quán)

Hive：庫(kù)和表的訪問(wèn)權(quán)限

Kafka：隊(duì)列的訪問(wèn)權(quán)限

YARN：計(jì)算資源（CPU和內(nèi)存）的分配

大數(shù)據(jù)平臺(tái)的多租戶管理也需要用到一些相關(guān)的技術(shù)組件，包括：

Kerberos：大數(shù)據(jù)平臺(tái)最常用的安全認(rèn)證機(jī)制，通過(guò)一套密鑰系統(tǒng)為大數(shù)據(jù)平臺(tái)提供增強(qiáng)的安全性。

Sentry/Ranger：Sentry和Ranger都是Hadoop的授權(quán)機(jī)制，能夠?qū)崿F(xiàn)對(duì)HDFS、HBase、Hive的基于角色的細(xì)粒度授權(quán)。Sentry包含在Cloudera CDH中，Ranger則由Hortonworks提供。隨著Cloudera對(duì)Hortonworks的收購(gòu)，兩者也將走向融合。

大數(shù)據(jù)平臺(tái)的多租戶管理架構(gòu)如圖所示：

大數(shù)據(jù)集群可以被多個(gè)租戶所使用；

集群管理員創(chuàng)建租戶，為各個(gè)租戶分配資源和空間配額，并指定各租戶的租戶管理員。

租戶管理員可以創(chuàng)建項(xiàng)目，把資源進(jìn)一步分配給各個(gè)項(xiàng)目，并指定項(xiàng)目管理員；

項(xiàng)目管理員對(duì)項(xiàng)目成員進(jìn)行管理，項(xiàng)目的資源可以由項(xiàng)目成員共享，也可以通過(guò)Sentry/Ranger做進(jìn)一步的權(quán)限管控。

3、派拉數(shù)據(jù)湖產(chǎn)品的多租戶管理

派拉數(shù)據(jù)湖產(chǎn)品實(shí)現(xiàn)了基于CDH和開(kāi)源Hadoop平臺(tái)的開(kāi)箱即用的多租戶管理能力，包括租戶的增、刪、改，多層級(jí)的權(quán)限分配和資源管理、資源回收，資源使用的實(shí)時(shí)監(jiān)控，使用量統(tǒng)計(jì)等。

創(chuàng)建租戶，分配資源配額：

在租戶之下創(chuàng)建項(xiàng)目：

資源使用的實(shí)時(shí)監(jiān)控：

用戶和角色管理：

在目前的開(kāi)源大數(shù)據(jù)平臺(tái)中，雖然已經(jīng)有比較完善的用戶權(quán)限控制和資源管理的功能，但是對(duì)于很多大中型客戶所需要的多租戶管理還是很欠缺的。派拉數(shù)據(jù)湖產(chǎn)品正是大數(shù)據(jù)平臺(tái)多租戶管理的利器，能夠幫助企業(yè)實(shí)現(xiàn)既高效又安全的資源共享、分配和計(jì)量。