이 글은 연제식으로 조금씩 조금씩 쓰려고 합니다.
한번에 모두 쓰기가 힘들것 같아서요... ^^;;

ACE는 Supercomputer 운영 및 관리에 편리하도록 개발된 Appro 제품입니다.
제가 이전에 ACE에대해 소개 자료 형식으로 만든것 중에 소비자들이 가장 궁금해 할 만한 내용을 토대로 질문답변 형식으로 만들것이 있어 그 내용을 약간 소개해보려고 합니다.
물론 현재 ACE는 좀더 많은 업그래이드가 이뤄졌기 때문에 일부 기능이 더 좋아졌을것입니다.
(저도 ACE 패치 작업에 join을 하게 되었죠... ^^*)

아래 내용은 Appro에서  Tsukuba 에 클러스터 설치 및 사용자 환경을 구축해주면서 제가 Tsukuba 작업을 진행하면서 ACE에대해 알게되고 경험해보면서 idea를 내어가며 얻은 경험을 토대로 작성한 내용입니다. 제가 ACE를 설계한것이 아니라서 어쩌면 일부 내용이 설계와 안맞을수 있을지 모르나 대부분은 경험을 토대로 썼기때문에 거의 대부분은 내용이 맞다고 보시면됩니다.

ACE

Q & A

Cluster에 대해 상황 별로 이해를 돕고자 질문과 답변 식으로 presentation을 합니다.

ACE의 구조적 특징

Ø   Project 또는 부서에 따라 Resource 분배가 빈번해서 Cluster를 나누거나 합쳐서 쓰고 싶다.

n  ACE의 Cluster 가상화(partition)을 이용하여  Cluster resource를 split하거나 합쳐 상황에 맞게 computing power size를 쉽게 조절할 수 있다.

 

Ø   부서 또는 Project 특성상 서로 다른 OS 또는 완전히 서로 다른 환경을 써야만 한다.

n  ACE의 Partition function을 이용하여 하나의 Cluster를 도입했을지라도 logical cluster로 partition을 하면 각각 logical cluster는 서로 다른OS를 사용할 수도 있고 서로 다른 환경으로 구성하여 한 시스템에서 여러 OS나 환경으로 독립적으로 사용이 가능하다.

 

Ø   클러스터를 사용하다 보면 과거 설정으로 복원을 해야 될 경우가 생긴다.

n  ACE에는 cluster image revision 관리 기능이 있어 각 logical cluster 마다  설정에 따른 revision이 보관되어 있어 언제든지 쉽게 구 버전 또는 신버전으로 바꿔 사용할 수가 있다. (cluster OS환경에 대한 자동 백업기능)

n  ACE에는 전체 revision에 공통적으로 사용되어야 하는 사용자 환경설정은 따로 설정하여 revision을 바꾸더라도 그냥 환경을 이용할 수 있도록 구성되어 있다.

 

Ø   Software install 및 노드 마다 환경 설정 하려면 힘들다.

n  ACE에서는 checkout(read/write 모드)를 한 후에 checkout한 노드에서만 software install 및 설정을 한 후에 checkin(read only mode)하면 whole cluster에서 software 및 환경을 사용가능 하다.

n  ACE에서는 cluster OS영역이 read only이기 때문에 관리자/사용자가 프로그램 삭제 등의 실수를 막을 수 있다.

n  일부 read/write 파일에 대해 잘못 설정을 했을 경우에 the node를 재 가동만 하면 다시 원래 상태로 돌아간다.

 

Ø   Compute node crash 되었을 때 다시 설치하려면 시간이 많이 걸리고 설정이 어렵다.

n  ACE에서 compute node는 supper computer의 CPU board 개념으로 사용되기 때문에 compute node crash시 불량 node만 1:1로 간단히 교체 후 power on하면 작업이 끝난다. (불량 노드는 off line상에서 수리 또는 교환한다.)

 

Ø   사용하는 software가 disk I/O가 심해서 local scratch disk를 사용해야만 한다.

n  ACE는 disk-less based cluster이지만 local disk에 대한 규칙만 넣어두면 compute node boot-up때 자동으로 local scratch disk로 사용할 수 있도록 구성된다.

n  Local disk crash가 나면 disk 교체 후 재가동하면 자동으로 다시 구성시켜 올려주기 때문에 다른 추가 작업이 필요 없다.

 

Ø   Disk-less Cluster는 대규모로 할 경우 성능 저하 현상이 있다.

n  ACE에서는 sub management node 개념을 두어 일정 compute node 당 sub management node가 support를 하기 때문에 Cluster scale이 커져도(대규모여도) 성능 저하 현상이 없다.

 

Ø   Disk-less Cluster는 마스터가 죽게되면 whole cluster 죽게 되어 운영이 되지 않는 단점이 있다.

n  ACE에서는 master node를 HA로 구성되어 있어 main management node가 죽을지라도 whole cluster에 전혀 영향이 가지 않는다.

n  Compute node는 GNBD File system을 사용하기 때문에 OS image 제공하는 management node가 문제가 생길지라도 다시 management node 를 복구하면 whole compute node는 재가동 없이 상용하는데 문제가 전혀 없다.

 

Ø   Disk-less Cluster를 구성하려면 MAC Address등 복잡한 설정을 해야 하거나 노드의 위치가 바뀌면 hostname이 바뀌는 단점이 있다.

n  초기 설치 때 구성한 ACE 환경 설정에 의해 특정 고정된 위치에 any node가 들어가면 고정된 hostname을 갖게된다. CPU 보드의 개념이므로 관리자는 위치나 설정에 대해 따로 신경 쓸 필요가 없다.

 

Ø   Compute node crash 시 매번 바로 바로 교체를 해야만 하는가?

n  ACE에 있는 Hot spare 기능으로 하나의 노드가 불량 나면 바로 자동으로 넘어가기 때문에 불량 노드만 교체 작업을 하면 된다.  (기능이 완성되었나 안되었나 아직 모르겠습니다.)

ØACE의 H/W 관리기능

Ø   Cluster를 remote에서 power on/off/cycle를 하고 싶다.

n  ACE에서는 network로 ssh만 연결할수 있으면  ACE GUI/CLI를 이용하여 단일 노드 또는 그룹 단위의 node의  power를 on/off/cycle을 쉽게 할수 있을 뿐만 아니라 모든 관리 및 모니터링이 가능하다.

n  Compute node 부팅 과정의 상태를 모니터링 가능하다.

 

Ø   Network port 또는 cable이 문제 생기면 disk-less이기 때문에 문제이다.

n  ACE는 Cluster를 dual network로 구성하면 failover for redundant networks

 

Ø   시스템 관리자와 H/W 엔지니어가 서로 다른 곳에 있을 때 노드 점검을 이야기 할 때 compute node가 너무 많이 실수 할때가 있다.

n  ACE는 같은 화면을 관리자와 H/W 엔지니어가 볼 수 있으며 관리자가 노드에 “maintain” 과 같은 마크를 하면 H/W 엔지니어가 마크된 정확한 노드만 점검이 가능하다.

 

Ø   수많은 컴퓨터의 BIOS를 업그래이드 하려면 너무 힘들다.

n  BIOS image파일을 설정을 해두고 노드만 재 부팅하면 자동으로  BIOS를 업그래이드 하여 준다.

ACE command tools

Ø   수 백대 이상의 compute node에서 메모리 불량을 찾으려면 너무 힘들다.

n  ACE에서는 edac을 이용하여 (included edac  support chip set in M/B) memory 불량을 logging하여 history를 갖게 할 수 있고 또한 한번의 command로 어떤 노드에 메모리 불량이 있는지 쉽게 찾을 수 있다.

 

Ø   수천 개의 Infiniband cable이나 연결된 port들에서 문제 발생시 어떻게 찾아야 할지 어렵다.

n  Infiniband 명령어를 실행해 Infiniband cable test를 통하여 불량 포트에 대한 log의 guid와 port 번호를 tools command 에 넣으면 어느 위치(infiniband S/W or Compute HCA)의 어떤 포트와 어느위치 (infiniband S/W or Compute HCA) 의 어떤 포트가 연결되어 있는지 도식화된 결과를 보여주기 때문에 위치와 연결 구조를 쉽게 찾을수 있다.

n  너무 많은 Cable로 인해 연결을 잘못시켜 문제가 발생되는 경우가 있는데 이 command을 이용하여 원하는 guid와 port 번호를 넣으면 연결되어야 하는 상대 위치와 포트번호를 찾을 수가 있다.

 

Ø   Compute node가 너무 많아 일일이 점검하려면 너무 힘들다.

n  ACE에 있는 유용한 tool을 이용하면 하나의 명령어로 whole cluster의 기본적인 상태를 간단히 전체적으로 점검해볼 수가 있다.

n  다양한 tool을 이용하여 상황에 맞게 정보를 살펴보거나 명령어를 단위노드, 그룹 또는 전체적으로 실행하는 기능이 된다.

n  Command tools은 단위노드, 렉 단위, 그룹 단위 또는 클러스터 단위로 하나의 명령어로 명령어 실행 또는 정보를 볼 수가 있다.

 

Job schedule

Ø   Job schedule를 한눈에 보고 싶다

n  ACE GUI를 이용하면 한눈에 job schedule 상태를 실시간으로 모니터링 가능하다.

n  Job Number를 클릭하면 그 job에 대해 상세하게 정보를 보여준다.

n  Queue나 Job scheduler에 등록된 host에 대한 정보를 다른 tab에서 살펴볼 수가 있다.

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-동일조건변경허락 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.