언제나 영원히

http://www.microsoft.com/hpc/en/us/community/hpc-forums-blogs.aspx#turnkey-dual-boot-clusters

http://ecn.channel9.msdn.com/o9/ch9/8/2/9/2/1/5/dualboot_ch9.wmv

Turnkey Dual-Boot Clusters: Clustercorp and Microsoft present Rocks+Hybrid, a simple Windows/Linux Cluster Solution Clustercorp and Microsoft present Rocks+Hybrid – a combination of the commercial version of the Rocks® Cluster Distribution for Linux and Microsoft Windows® HPC Server 2008. The joint solution is a simple to use product for deploying dual-boot HPC systems that run Linux and Windows natively in a single cluster. In this webcast we'll discuss Rocks+Hybrid from both an end-user and architectural perspective -- attendees will come away with a new perspective on how easily they can make dual-boot clusters a part of their data center!   Microsoft Visual Studio 2008 and Allinea DDTLite: The Power of Parallel for Windows HPC 2008 The era of cluster computing and Multicore drives change for Windows Developers, with development shifting to Threads and Parallel. Microsoft and its rich partner’s ecosystem provide solutions to meet the challenges of parallel development and to accelerate the speed and flexibility of Microsoft Windows applications with Microsoft Visual Studio 2008. Learn how to harness the power of Multicore, using your current Visual Studio programming experience with Visual Studio and Allinea DDTLite running on Windows HPC Server. Allinea DDTLite offers truly parallel debugging for Visual Studio 2008. Leveraging Windows HPC Server for financial reporting and financial risk management using Milliman tools MG-ALFA and MG-Hedge software packages from Milliman being used to meet current and future financial reporting requirements. First look: Introduction to Windows HPC Server R2 Beta 1 Join us for a sneak preview and look at Windows HPC Server R2. Windows HPC Server R2 is the next generation in High Performance Computing for Microsoft. Alex Sutton from the Microsoft HPC engineering team presents an overview of Windows HPC Server 2008 R2 beta 1. Alex will cover new features for cluster administration, job scheduling, and application development using the Windows Communication Foundation based Cluster SOA framework. See advancements in Diagnostics and Reporting, Job Scheduling and Resource Management and more. This new version truly takes HPC to the next level. Windows HPC Server 2008 Partner Webcast: ISVs and Tools – what you need to know to drive your business! Just for partners! Learn how to integrate and deliver complete Windows HPC Server solutions to your customers. This webcast will provide the Windows HPC partner ecosystem background that you need to sell and deliver high value services and solutions for the Windows HPC Server 2008 platform.

http://support.citrix.com/article/CTX121875

Physical Volume Enabling an HVM Linux Virtual Machine imported from VMware

http://www.youtube.com/watch?v=2EaixwuM6Vw

앞서 설명드린 HPC Server 2008 Job Resources 에서는 Job Scheduler를 사용하는 경우였습니다.
그런데,, 아래 그림처럼 다른 툴을 이용해서 job submit 을 하는 경우에는 적용하기가 어렵습니다.


그래서 약간 우회적인 방법으로 노드당 1개의 core만 사용할 수 있는 방법을 알려드립니다.


임의의 job을 submit 해서 각 노드의 core를 점유한 후에 Fluent Launcher 를 실행하는 방법입니다.

예를 들어 hostnode, node001, node002, node003, node004 5대의 서버가 있고,
각 서버당 Quad-Core CPU 1개씩 장착되어 있다면,, 총 사용 가능한 core는 20개 입니다.
5개의 각 노드당 1개의 core 씩만 사용해서 job을 수행하고 싶다면,,

1. HPCS Job Scheduler 를 실행해서 New Job
2. Run job until cancelled or run time expires 선택
3. Core 단위로 MIN=3, MAX=3 선택
4. Resource Selection 서 hostnode(첫번째노드) 선택
5. job submit
6. node001, node002, node003, node004 에 대해서도 동일하게 진행
7. Fluent Launcher 를 실행해서 5개의 프로세스 요청

위와 같이 진행하면, 이미 모든 노드에서 3개씩 core를 잡고 있기 때문에,
신규로 Job 이 들어갈 경우 각 노드 당 1개의 core만 사용하게 됩니다.

SGE에 대한 좋은 자료가 있어 올립니다.

http://blog.bioteam.net/2009/09/28/sge-training-slides/

01 - SGE Admin - Overview

02 - SGE Admin - Installation

03 - SGE Admin - Configuration

04 - SGE Admin - Application Integration

05 - SGE Admin - Monitoring

06 - SGE Admin - Policies

07 - SGE Admin - Troubleshooting

HPC Server 2008 Job 생성 메뉴에 보면,, Job resources 라는 항목이 있습니다.
Job을 Core 마다 할당하거나 Node 마다 할당할 수 있습니다.

WCCS 를 사용하는 경우에는 run1perNode.vbs 와 같은 스크립트의 도움을 받아야
(다음 링크 참조 : http://www.alwaysu012.net/18)  Node 당 1개의 프로세스를 할당할 수 있었지만,,
HPC Server 2008 의 경우에는 Job resources 에서 선택해서 간단히 해결할 수 있습니다.

ISO 이미지 사용
xe sr-create name-label=<name> type=iso \
device-config:location=<where iso file exist> \
device-config:legacy_mode=true \
content-type=iso

EX) /var/opt/xen/iso_import/
xe sr-create name-label=windows_iso type=iso \
device-config:location=/var/opt/xen/iso_import/ \
device-config:legacy_mode=true content-type=iso

[root@xen12 ~]# xe sr-list name-label=windows_iso
uuid ( RO)                : 7bdf8f9c-ba67-eeba-ff59-ec590f8f3692
          name-label ( RW): iso-file
    name-description ( RW):
                host ( RO): xen12
                type ( RO): iso
        content-type ( RO): iso

sftp 와 같은 툴을 이용해서 ISO 파일을 /var/opt/xen/iso_import 디렉토리에 업로드한 뒤
스캔해서 업로드된 ISO 파일을 인식시킨다.

[root@xen12 ~]# xe sr-scan uuid=7bdf8f9c-ba67-eeba-ff59-ec590f8f3692

정말 급변하는 시대이다.
잠시 한눈 팔면,, 변화에 뒤쳐지기 마련이다..
최근에 HPC Cluster 구축 요청을 받으면서,,
고객은 이미 한발 앞서가고 있는데,, 서비스를 제공한다는 사람이 관련 내용을 전혀 모르고 있다니 !!
급 실망.. ~~~~
하지만 늦었다고 생갈할 때가 가장 빠르다는 격언을 되새기며,, 최근의 Cluster 툴을 살펴보자.

1. http://www.rocksclusters.org
 - 가장 애용하는 클러스터 툴이다. 이 툴을 접해본지도 벌써 5년이 다되간다.
   무엇보다 구성하기가 쉽다. 그동안 구축한 reference 도 상당히 많다.
   앞으로도 가장 많이 사용하게될 툴....

2. http://www.clustercorp.com (Rocks+)
 - Rocks Cluster 는 OpenSource 이다. 이 패키지 안에 포함되어 있는 툴들도 모두 OpenSource 이다.
   하지만,, 클러스터를 구성하다 보면 상용툴을 설치해야 하는 경우가 종종 있다.
   예를 들면, Intel Compiler, TotalView, PBS Pro 등 상용 Scheduler 등등..
   ClusterCorp는 OpenSource Rocks 를 기반으로 하며, 상용 툴들에 대한 Roll CD를 제공해 준다.
   Roll CD를 다운로드 받으려면 반드시 등록된 ID가 있어야 하며,,
   구매 가격은 $149/node 부터 시작한다.

3. http://rocks.stanford.edu/doku.php
  - 상용 툴을 사용하기 위해 반드시 반드시 Rocks+ 를 구매해야 하는 것은 아니다.
    위 싸이트에 접속하면 Intel, PGI, openIB, MPI Library 등을 구할 수 있다.

4. http://www.redhat.com/hpc
   http://www.platform.com/cluster-computing/cluster-management
   http://www.hpccommunity.org/
  - 이 툴은 정말 최근에야 소식을 접했다
    예전에 Platform 에서는 Rocks를 기반으로 Open Cluster Stack (OCS) 을 제공했는데,
    최근에 PCM (Platform Cluster Management)  으로 그 툴이 변경되었다.
    KUSU 라는 프로젝트를 기반으로 하고 있다는데,,
    알아봐야 할 내용이 많은 부분이다.
  - RedHat HPC 를 구매하면 yum을 통해서 PCM을 구성할 수 있다고 하는데,,
    현재 Evaluation 중인데, 완전 까막눈이라 갈 길이 멀다.

5. http://www.penguincomputing.com/software/scyld_clusterware
   - Scyld ClusterWare 라는 클러스터 구축 툴이다.
     얼마전 S대에 펭귄클러스터가 납품되었는데, diskless 구성이다.
     사용해 본 분이 그 어떤 툴보다 사용이 편리하다고 하더라...
     Evaluation 을 해봤는데,, 구축하기도 쉽다.
     좀 더 테스트가 필요한 툴이다.

6. http://svn.oscar.openclustergroup.org/trac/oscar/wiki
   - OSCAR
   - 한번도 시도해 보지 않은 툴이다.
      현재도 계속 업데이트되고 있는데,, 언젠가 한번 테스트 해봐야지.

7. http://xcat.sourceforge.net/
  - xCAT Extreme Cloud Administration Toolkit
   2005년 이후에 설치해 볼 기회가 없었다.
   IBM에서 OpenSource 로 넘어오면서, 구조 자체가 바뀌었다고 하던데,,,
   언젠가는 테스트해 볼 기회가 오겠지..