한국 CMS 컴퓨팅 자원 활용하기

이 페이지는 한국 CMS그룹에서 컴퓨팅 자원을 활용하기 위한 과정과 팁을 정리합니다. 오피셜 문서로 만들 생각은 없어요. KCMS tier 사용 중 경험 해 본 사항들을 적어주세요. 깔끔한 문서로 정리하는 건 나중에 하고 지금은 알고 있는 내용들을 자유롭게 채워 넣는 것부터 시작합니다.

계정 만들기

왜 계정을 만들어야 하나요? : lxplus 계정에서는 데이터를 저장할 때 work directory에 최대 1TB까지는 저장할 수 있지만 이를 다른 사람과 공유하기도 힘들어요. crab submit한 결과 파일을 getdata로 가져올 때는 최대 50메가바이트까지만 저장할 수 있으니 큰 파일을 저장해야 할 경우에는 eos와 같은 곳에 저장해야 하는데 eos는 CERN에 100%체류 할 때만 저장 공간을 신청할 수 있어요. 국내 사이트에 샘플을 저장하게 되면 외국 그룹 눈치를 보지 않아도 되고, 경우에 따라서는 해당 사이트의 자원을 최대한 할당해 일을 빠르고 효율적으로 진행할 수도 있어요.

계정은 어디에 만들어야 하나요 : 경북대, 서울시립대, KISTI가 공식 사이트이고, 그 외에 각 학교별로 운영하는 컴퓨터가 있을 수 있으니 장단점은 선배들에게 물어보면 됩니다. 신청서를 작성한 뒤 제출하면 됩니다.

경북대 : 오랜 기간 CMS Tier2를 운영해 왔고 문제 없이 매우 안정적으로 운영되고 있습니다. tier2와 tier3를 동시에 운영하며 리소스를 공유하고 있습니다.
신청서 작성시에 과제명, 사용 계획 등을 작성하는데, 사이트 관리자가 이를 기반으로 사용하시는데 공간 확보나 기술적인 도움을 드릴 수 있어요. 어렵게 생각하지 마시고 현재 하려는 일이 어떤 분야이고 공간은 대략 얼마나 사용할 것 같은지 등등을 적으시면 됩니다.

서울시립대 : 주로 서울시립대 학생들에 의해 운영되고 있습니다. 타 기관에 비해 운영의 자유도가 있는 편이라 (가능 여부나 여분 자원에 따라) 필요한 세팅을 추가로 더 해 드릴 수도 있습니다. top physics와 GEM software등에 우선 순위를 두어 운영 방침을 세우고 있습니다만, 절대적인 것은 아닙니다.
특별한 신청서 서식은 없고 정보를 이메일로 보내면 확인 후 계정을 만들어 줍니다.

KISTI : Alice Tier-1운영, CDF CAF운영 등 전반적인 grid 환경에 대한 지원 경험을 많이 가지고 계세요. Kreonet운영 기관으로 네트웍 속도나 관련 지원 면에서도 유리합니다. 최근 CMS tier3로 등록되었습니다.
신청서 양식을 채워 메일로 보내면 사용할 수 있습니다.

로컬 job submit

Tier site인 경우 crab을 이용해 job submit이 가능합니다. 데이터 파일을 CMS DAS에서 검색할 수 없는 경우에는 이것이 불가능하고, 일반적으로는 더 간편하므로 간단한 경우 local cluster에서 일을 처리하는 경우가 많이 있습니다. 각각의 사이트마다 cluster를 관리하는 소프트웨어와 설정이 각각 다르기 때문에 사용법도 다릅니다. 크게 PBS계열의 단순 배치 소프트웨어를 사용하는 경우나 condor와 같은 소프트웨어를 사용하는 경우로 나누어 볼 수 있고, 사이트에 관계 없이 동일한 명령어를 이용해 job submit이 가능하게 해 주는 wrapper script/software들도 찾을 수 있습니다.

-- JunghwanGoh - 18 Aug 2014