언제나 영원히

• IPMI 패스워드 설정
• Rocks 문서에 보면, 파워 관리를 위해 IPMI를 사용하는 방법이 나와 있습니다.
• 네트워크를 통해 관리하려면, IP를 입력하고, 네트워크 관리를 활성화 하고, 계정에 패스워드를 입력하여 활성화 시켜줘야 합니다.
• 계정을 활성화할 경우 Dell Blade의 샤시 관리 모듈 (CMC)와 각 블레이드의 IPMI 모듈(iDRAC6)의 통신이 안된다는 군요.
• 이 문제때문에 블레이드 서버가 관리 모듈에서 사라지는 문제를 겪었습니다.
• 해결 방법은 패스워드를 설정하지 않는 것이죠...
• default 계정으로 root/calvin을 사용하면 됩니다.
• 참고 : Google 그룹스(Rocks Cluster)
  

• Infiniband  연결방법
• Blocking <-> Non-Blocking 구조가 있다고 합니다.
• 총 16개의 블레이드가 장착되는데,, Infiniband 카드를 장착할 때 8대는 B위치에 나머지 8대는 C위치에 장착해야 하고,
• Infiniband 스위치 모듈 또한 B위치/C위치에 각각 연결해야 합니다.

• 블레이드 서버 MAC <--> 샤시 MAC 매칭
• 이번에 이 기능을 보고 참 좋아졌구나 생각했습니다.
• 블레이드 서버에 문제가 생겨서 보드를 교체할 경우 Onboard NIC의 MAC주소가 바뀌게 됩니다.
• 이런 문제를 해결하기 위해 만들어진 것인지는 모르겠지만, Onboard NIC의 MAC주소를 샤시의 MAC 주소로 1:1 매핑시켜주는 기능이 있습니다.
• 이 기능은 샤시 관리 모듈(CMC)의 Add-on 기능이며, 메모리를 꽂아서 활성화 시켜주어야 합니다.
• 이 메모리는 샤시의 Service Tag를 기억하고 있으며, Service Tag가 다를 경우 동작하지 않습니다.

• ifcfg-eth0 의 MAC 주소와 성능관계??
• 이번 프로젝트의 최대 미스테리입니다.
• 일반적으로 RedHat 계열 리눅스에서 네트워크 설정을 하면 /etc/sysconfig/network-scripts/ifcfg-eth0 안에 HWADDR=xx:xx:xx:xx:xx:xx 형태의 MAC을 기록하게 됩니다.
• 이 항목을 주석처리하고 리부팅했는데 성능이 향상되었다?
• 성능과 MAC주소와 무슨 관계가 있는지.. ??? 연구가 필요한 부분이네요..

Administrators can also use the command line for driver installation. The command msiexec /qn /i path, where path is the path to the WinOF MSI pack- age, enables driver installation through the command line; the MSI package can reside on a net- work share to help avoid the need to copy packages to individual cluster nodes.

The clusrun command enables running the same command on multiple compute nodes in parallel, which can help save a significant amount of time for driver installation in large clusters. The ndinstall command, which comes with the InfiniBand driver, can be used with the -i parameter to enable Network Direct after driver installation. When Network Direct is enabled, the ndinstall -l command lists the OpenIB Network Direct provider.

자동설치방법

msiexec /qn /i {PATH}

설치 후 Network Direct Enable

ndinstall -i

Network Direct provider 확인하는 방법

ndinstall -l