1 / 28

Аппаратно-программная конфигурация ЦИВК

Аппаратные ресурсы. Программное обеспечение. Организация работы пользователей. Грид в ЦИВК, принципы работы. http://lit.jinr.ru. Аппаратно-программная конфигурация ЦИВК. Структурная схема ЦИВК Сетевые соединения. 1Gbit Ethernet - опорная сеть.

liluye
Download Presentation

Аппаратно-программная конфигурация ЦИВК

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Аппаратные ресурсы. Программное обеспечение. Организация работы пользователей. Грид в ЦИВК, принципы работы. http://lit.jinr.ru Аппаратно-программная конфигурация ЦИВК

  2. Структурная схема ЦИВК Сетевые соединения

  3. 1Gbit Ethernet - опорная сеть. Маршрутизатор и коммутаторы 1GbE. Не более 3-х коммутаций между любыми 2-мя машинами ЦИВК. 4-8 линий между 1-ым и 2-ым уровнями (802.3ad – link aggregation). 10GbE до опорной сети ОИЯИ (план). Сетевое окружение

  4. 60 машин: Xeon 5150, 8GB RAM, 64-х битная архитектура- x86_64. 2 x ЦПУ по 2 ядра = 4 ЦПУ на машину. 2 GB RAM на ядро (ЦПУ). 100 GB scratch на машину. 2730 SI2000 на ядро. Всего: 240 ЦПУ; ~650 kSI2k. Вычислительные ресурсы -счетная ферма

  5. 20 машин: Xeon 5345, 16GB RAM, x86_64. 2 x ЦПУ по 4 ядра = 8 ЦПУ на машину = 160 ЦПУ. 2 GB RAM на ядро. 200 GB scratch на машину. 2700 SI2000 на ядро = 432 kSI2k. Всего: 400 ЦПУ; > 1000kSI2k. Счетная ферма - расширение(март 2008)

  6. Общий (физический) объем: > 120TB. Аппаратный RAID5 (3ware/AMCC). Программный RAID1 (AFS и т.п.). Direct Attached SATA (счетные, интерактивные машины и т.п.). Доступный объем: 1.3TB - AFS; 82TB - dCache. Дисковые ресурсы

  7. 4 машины для интерактивной работы: 2 - Intel Core 2 Duo; 2 - AMD Athlon. Серверы AFS и NFS. Серверы dCache. Серверы общего назначения. Серверы WLCG сайта (грид). Остальные ресурсы

  8. Архитектура серверов: от Intel Celeron и Pentium 3 до Atlon64 X2 и Core 2 Duo. Всего серверов 64. Архитектура и ЦПУ: uname -ip подробнее – cat /proc/cpuinfo. Объем RAM: free Остальные ресурсы (продолжение)

  9. Основная ОС - Scientific Linux SL 4.5 (SL4) – клон RHEL4, на всех счетных машинах (cat /etc/redhat-release). Основная архитектура – x86_64, 64-х битная (uname -i). Установлены все пакеты совместимости для выполнения 32-х битных программ. Система пакетной обработки (batch): Torque + Maui. Программное обеспечение

  10. Рекомендуется для разработки ПО использовать SL4 x86_64 на lxpub01/02. Для совместимости: SL4 i386 на lxpub03; SL3 i386 на lxpub04. Разработка ПО для архитектуры i386 возможна, но не тривиальна. SL3 будет только до конца 2008. Предполагается полный переход на 64-х битную архитектуру. Программное обеспечение (продолжение)

  11. Компиляторы, компоновщик и отладчик из SL4 версии 3.4.6: gcc; g++; f77; ld; gdb(gcc -v). Дополнительно из SL4: gcc4; g++4; gfortran. Дополнительно от Intel: icc; icpc; ifort; idb (icc -V). Средства разработки Intel дают ~15% повышения производительности ПО. Программное обеспечение Средства разработки ПО

  12. CERNlib 2006, архитектура x86_64 (gcc4). ROOT 5.14.00e, архитектура x86_64. OpenMPI 1.2.5, архитектура x86_64 (компиляторы Intel). JINRlib (g77, gfortran и ifort). Программное обеспечение Средства разработки ПО (продолжение)

  13. Практически все -devel- RPM из SL4: glibc; libstd++ и т.д, архитектура x86_64 (некоторые - i386) (file /lib64/libc-2.3.4.so;file /lib/libc-2.3.4.so). Perl, Python, Tcl, Tk (только x86_64). Средства разработки для графических оболочек: xorg; kde; gnome. Программное обеспечение Средства разработки ПО (продолжение)

  14. Рекомендуется использовать kde. Графические оболочки: xorg; kde; gnone. Терминал: xterm; konsole. WWW/FTP: firefox; konqueror; gftp. Редакторы: gvim; emacs; nedit. Mail: kmail; thunderbird. Программное обеспечение Средства поддержки - графика

  15. Документы: ooffice; acroread; ggv; kpdf; kghostview. Калькулятор: qalc; kcalc. Разработка: kdevelop; bluefish (www) . Текст: Tex/LaTex. Изображения: gimp; xfig; kuickshow. Программное обеспечение Средства поддержки – графика (прод)

  16. Рекомендуется использовать putty (ssh) для входа из Windows. WWW/FTP: links; lynx; wget; lftp; pftp. Редакторы: vim; pico. Mail: alpine (pine); mutt. Программное обеспечение Средства поддержки - текст

  17. Структурная схема ЦИВКПотоки данных и задач

  18. Подробное описание – на сайте: http://lit.jinr.ru. Интерактивная работа: lxpub01 -:- lxpub04– User Interface. Разработка и отладка ПО, не счет. Работа с графикой. Подготовка документации. Mail, WWW и т.п. Интерактивный вход на остальные машины запрещен. Организация работы пользователей

  19. Все счетные задачи работают через batch систему (qsub, qstat, qpeek, qdel). Приоритеты и порядок запуска – планировщик Maui (“умный” алгоритм). Желательно указывать для batch: время CPU; RAM; размер scratch. Как правило: одна задача – 1 CPU. Организация работы пользователей (продолжение)

  20. Максимальное количество задач пользователя = 170. Максимальные параметры задач: CPU=400 часов;RAM=2GB;scratch=25GB. Параллельные задачи – особый случай. Примеры задач для batch - на сайте LIT:http://lit.jinr.ru Организация работы пользователей (продолжение)

  21. Регистрируются в базе kerberos5. Домашние директории в AFS. Хранение данных в dCache. Возможно выделение дополнительного места в AFS под большое ПО для группы/пользователя. На UI есть scratch: /scr/u/... На счетных машинах задача должна работать в scratch:cd $TMPDIR Регистрация и ресурсы пользователей

  22. Структурная схема ЦИВКПотоки данных и задач

  23. ЦИВК имеет общие ресурсы с сайтом WLCG – JINR-LCG2: счетные машины и дисковые массивы в dCache. Единый сервер запуска задач в batch. Интерактивные машины работают как User Interface для WLCG. 16 машин обслуживают инфраструктуру сайта JINR-LCG2. Работают 9 Виртуальных Организаций - VO. WLCG грид в ЦИВК

  24. Преимущества грид (потенциальные): неограниченные компьютерные ресурсы всего мира. Необходимо: получить сертификат и стать членом Виртуальной Организации. Задачи должны удовлетворять достаточно жестким требованиям: использовать стандартные для грид протоколы. WLCG грид в ЦИВКпользователям грид

  25. WLCG работает c ПО промежуточного уровня gLite, версия 3.1. Запуск и проверка заданий: . /opt/ui/etc/profile.d/grid-env.sh (только на lxpub01/02) voms-proxy-init -voms dteam glite-wms-job-submit -a -o t1 t1.jdl glite-wms-job-status -i t1 glite-wms-job-output -i t1 WLCG грид в ЦИВКиспользование

  26. Материалы с дополнениниями и примерами будут опубликованы на http://lit.jinr.ru “Вычисл. & Инф. Ресурсы” -> “ЦИВК”. В 20-ых числах февраля все вычислительные и дисковые ресурсы будут не доступны в связи с модернизацией сетевой структуры ЦИВК. Заключение

More Related