自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

解析Hadoop 的集群管理與安全機制

作者：翼宇軒
云計算 云安全 Hadoop
當前大一點的公司都采用了共享Hadoop集群的模式，這種模式可以減小維護成本，且避免數據過度冗余，增加硬件成本。共享集群類似于云計算或者云存儲，面臨的一個最大問題是安全。本文就對Hadoop 的集群管理與安全機制進行講解。

HDFS數據管理

1、設置元數據與數據的存儲路徑，通過

dfs.name.dir，dfs.data.dir，fs.checkpoint.dir(hadoop1.x)、

hadoop.tmp.dir，dfs.namenode.name.dir，dfs.namenode.edits.dir，dfs.datanode.data.dir(hadoop2.x)等屬性來設置;

2、經常執(zhí)行HDFS文件系統(tǒng)檢查工具FSCK，eg：hdfs fsck /liguodong -files -blocks;

 

  1. [root@slave1 mapreduce]# hdfs fsck /input 
  2. Connecting to namenode via http://slave1:50070 
  3. FSCK started by root (auth:SIMPLE) from /172.23.253.22 for path /input at Tue Jun 16 21:29:21 CST 2015 
  4. .Status: HEALTHY 
  5.  Total size:    80 B 
  6.  Total dirs:    0 
  7.  Total files:   1 
  8.  Total symlinks:                0 
  9.  Total blocks (validated):      1 (avg. block size 80 B) 
  10.  Minimally replicated blocks:   1 (100.0 %) 
  11.  Over-replicated blocks:        0 (0.0 %) 
  12.  Under-replicated blocks:       0 (0.0 %) 
  13.  Mis-replicated blocks:         0 (0.0 %) 
  14.  Default replication factor:    1 
  15.  Average block replication:     1.0 
  16.  Corrupt blocks:                0 
  17.  Missing replicas:              0 (0.0 %) 
  18.  Number of data-nodes:          1 
  19.  Number of racks:               1 
  20. FSCK ended at Tue Jun 16 21:29:21 CST 2015 in 1 milliseconds 
  21.  
  22. The filesystem under path '/input' is HEALTHY 

 

3、一旦數據發(fā)生異常，可以設置NameNode為安全模式，這時NameNode為只讀模式;

操作命令：hdfs dfsadmin -safemode enter | leave | get | wait

 

  1. [root@slave1 mapreduce]# hdfs dfsadmin -report 
  2. Configured Capacity: 52844687360 (49.22 GB) 
  3. Present Capacity: 45767090176 (42.62 GB) 
  4. DFS Remaining: 45766246400 (42.62 GB) 
  5. DFS Used: 843776 (824 KB) 
  6. DFS Used%: 0.00% 
  7. Under replicated blocks: 0 
  8. Blocks with corrupt replicas: 0 
  9. Missing blocks: 0 
  10.  
  11. ------------------------------------------------- 
  12. Datanodes available: 1 (1 total, 0 dead) 
  13.  
  14. Live datanodes: 
  15. Name: 172.23.253.22:50010 (slave1) 
  16. Hostname: slave1 
  17. Decommission Status : Normal 
  18. Configured Capacity: 52844687360 (49.22 GB) 
  19. DFS Used: 843776 (824 KB) 
  20. Non DFS Used: 7077597184 (6.59 GB) 
  21. DFS Remaining: 45766246400 (42.62 GB) 
  22. DFS Used%: 0.00% 
  23. DFS Remaining%: 86.61% 
  24. Last contact: Tue Jun 16 21:27:17 CST 2015 
  25.  
  26. [root@slave1 mapreduce]# hdfs dfsadmin -safemode get 
  27. Safe mode is OFF 

 

4、每一個DataNode都會運行一個數據掃描線程，它可以檢測并通過修復命令來修復壞塊或丟失的數據塊，通過屬性設置掃描周期;

dfs.datanode.scan.period.hourses， 默認是504小時。

MapReduce作業(yè)管理

查看Job信息：mapred job -list;

殺死Job：mapred job -kill;

查看指定路徑下的歷史日志匯總：mapred job -history output-dir;

打印map和reduce完成的百分比和所有計數器：mapred job -status job_id;

 

  1. [root@slave1 mapreduce]# mapred job 
  2. Usage: CLI <command> <args> 
  3.         [-submit <job-file>] 
  4.         [-status <job-id>] 
  5.         [-counter <job-id> <group-name> <counter-name>] 
  6.         [-kill <job-id>] 
  7.         [-set-priority <job-id> <priority>]. Valid values for priorities are: VERY_HIGH HIGH NORMAL LOW VERY_LOW 
  8.         [-events <job-id> <from-event-#> <#-of-events>] 
  9.         [-history <jobHistoryFile>] 
  10.         [-list [all]] 
  11.         [-list-active-trackers] 
  12.         [-list-blacklisted-trackers] 
  13.         [-list-attempt-ids <job-id> <task-type> <task-state>]. Valid values for <task-type> are REDUCE MAP. Valid values for <task-state> are running, completed 
  14.         [-kill-task <task-attempt-id>] 
  15.         [-fail-task <task-attempt-id>] 
  16.         [-logs <job-id> <task-attempt-id>] 
  17.  
  18. Generic options supported are 
  19. -conf <configuration file>     specify an application configuration file 
  20. -D <property=value>            use value for given property 
  21. -fs <local|namenode:port>      specify a namenode 
  22. -jt <local|jobtracker:port>    specify a job tracker 
  23. -files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster 
  24. -libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath. 
  25. -archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines. 
  26.  
  27.  
  28. [root@slave1 mapreduce]# mapred job -list 
  29. 15/06/16 21:33:25 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 
  30. Total jobs:0 
  31. JobId  State  StartTime  UserName  Queue  Priority  UsedContainers  RsvdContainers  UsedMem RsvdMem    NeededMem    AM info 

 

#p#

Hadoop集群安全

Hadoop自帶兩種安全機制：Simple機制、Kerberos機制

1、Simple機制：

Simple機制是JAAS協議與delegation token結合的一種機制，JAAS(Java Authentication and Authorization Service)java認證與授權服務;

(1)用戶提交作業(yè)時，JobTracker端要進行身份核實，先是驗證到底是不是這個人，即通過檢查執(zhí)行當前代碼的人與JobConf中的user.name中的用戶是否一致;

(2)然后檢查ACL(Access Control List)配置文件(由管理員配置)看你是否有提交作業(yè)的權限。一旦你通過驗證，會獲取HDFS或者mapreduce授予的delegation token(訪問不同模塊有不同的delegation token)，之后的任何操作，比如訪問文件，均要檢查該token是否存在，且使用者跟之前注冊使用該token的人是否一致。

2、Kerberos機制：

Kerberos機制是基于認證服務器的一種方式;

 

Princal(安全個體)：被認證的個體，有一個名字和口令;

KDC(key distribution center)：是一個網絡服務，提供ticket和臨時會話密鑰;

Ticket：一個記錄，客戶用它來向服務器證明自己的身份，包括客戶標識、會話密鑰、時間戳;

AS(Authentication Server)：認證服務器;

TSG(Ticket Granting Server)：許可認證服務器;

 

[[137086]]

(1)Client將之前獲得TGT和要請求的服務信息(服務名等)發(fā)送給KDC，

KDC中的Ticket Granting Service將為Client和Service之間生成一個Session Key用于Service對Client的身份鑒別。

然后KDC將這個Session Key和用戶名，用戶地址(IP)，服務名，有效期, 時間戳一起包裝成一個Ticket(這些信息最終用于Service對Client的身份鑒別)發(fā)送給Service，

不過Kerberos協議并沒有直接將Ticket發(fā)送給Service，而是通過Client轉發(fā)給Service，所以有了第二步。

(2)此時KDC將剛才的Ticket轉發(fā)給Client。

由于這個Ticket是要給Service的，不能讓Client看到，所以KDC用協議開始前KDC與Service之間的密鑰將Ticket加密后再發(fā)送給Client。

同時為了讓Client和Service之間共享那個密鑰(KDC在***步為它們創(chuàng)建的Session Key)，

KDC用Client與它之間的密鑰將Session Key加密隨加密的Ticket一起返回給Client。

(3)為了完成Ticket的傳遞，Client將剛才收到的Ticket轉發(fā)到Service。

由于Client不知道KDC與Service之間的密鑰，所以它無法算改Ticket中的信息。

同時Client將收到的Session Key解密出來，然后將自己的用戶名，用戶地址(IP)打包成Authenticator用Session Key加密也發(fā)送給Service。

(4)Service 收到Ticket后利用它與KDC之間的密鑰將Ticket中的信息解密出來，從而獲得Session Key和用戶名，用戶地址(IP)，服務名，有效期。

然后再用Session Key將Authenticator解密從而獲得用戶名，用戶地址(IP)將其與之前Ticket中解密出來的用戶名，用戶地址(IP)做比較從而驗證Client的身份。

(5)如果Service有返回結果，將其返回給Client。

#p#

Hadoop集群內部使用Kerberos進行認證

 

[[137087]]

好處：

可靠：Hadoop本身并沒有認證功能和創(chuàng)建用戶組功能，使用依靠外圍的認證系統(tǒng);

高效：Kerberos使用對稱鑰匙操作，比SSL的公共密鑰快;

操作簡單：用戶可以方便進行操作，不需要很復雜的指令。比如廢除一個用戶只需要從Kerbores的KDC數據庫中刪除即可。

HDFS安全

1、Client獲取namenode初始訪問認證(使用kerberos)后，會獲取一個delegation token，這個token可以作為接下來訪問HDFS或提交作業(yè)的憑證;

2、同樣為了讀取某個文件，Client首先要與namenode交互，獲取對應block的block access token，

然后到相應的datanode上讀取各個block ，

而datanode在初始啟動向namenode注冊時候，已經提前獲取了這些token，

當client要從TaskTracker上讀取block時，首先驗證token，通過才允許讀取。

MapReduce安全

1、所有關于作業(yè)的提交或者作業(yè)運行狀態(tài)的追蹤均是采用帶有Kerberos認證的RPC實現的。

授權用戶提交作業(yè)時，JobTracker會為之生成一個delegation token，該token將被作為job的一部分存儲到HDFS上并通過RPC分發(fā)給各個TaskTracker，一旦job運行結束，該token失效。

2、用戶提交作業(yè)的每個task均是以用戶身份啟動的，這樣一個用戶的task便不可以向TaskTracker或者其他用戶的task發(fā)送操作系統(tǒng)信號，給其他用戶造成干擾。這要求為每個用戶在所有的TaskTracker上建一個賬號;

3、當一個map task運行結束時，它要將計算結果告訴管理它的TaskTracker，之后每個reduce task會通過HTTP向該TaskTracker請求自己要處理的那塊數據，Hadoop應該確保其他用戶不可以獲取map task的中間結果，

其執(zhí)行過程是：reduce task對“請求URL”和“當前時間”計算HMAC-SHA1值，并將該值作為請求的一部分發(fā)動給TaskTracker，TaskTracker收到后會驗證該值的正確性。

博文出處：http://blog.csdn.net/scgaliguodong123_/article/details/46523569

責任編輯：Ophira 來源： 個人博客
Hadoop集群管理安全機制
相關推薦

2020-04-02 15:10:57

Kubernetes集群安全

2012-07-03 10:57:54

Hadoop核心機制

2010-05-24 14:59:29

Hadoop集群

2016-02-24 09:38:25

Hadoop集群管理大數據技術

2010-10-08 10:42:30

2013-01-29 10:20:06

MapReduceHadoop架構

2011-04-21 10:05:35

Hadoop集群lzo

2011-05-20 14:23:59

WLANWEPWPA

2023-08-07 08:13:41

2024-01-16 14:32:23

2010-09-27 13:26:31

JVM內存管理機制

2017-08-17 17:09:28

PostgreSQL 數據塊機制

2016-10-09 14:41:40

Swift開發(fā)ARC

2012-10-23 16:20:20

2025-01-24 08:19:57

2010-09-26 08:46:08

802.1x

2020-12-01 13:08:21

物聯網物聯網安全

2009-09-09 20:15:00

2016-10-27 09:37:10

Hadoop集群配置

2011-12-07 16:11:50

Hadoop集群搭建
點贊
收藏

51CTO技術棧公眾號