Суперкомпьютеры и системы. Построение вычислительных кластеров (200,00 руб.)

Стр.2

Стр.3

Стр.4

УДК 004.272.43:004.382.2(075.8) М 219 Рецензенты: канд. техн. наук, доцент В.Г. Качальский канд. техн. наук, доцент С.П. Ильиных Работа подготовлена на кафедре вычислительной техники для студентов, обучающихся по направлениям 09.03.01 – Информатика и вычислительная техника и 09.03.04 – Программная инженерия Малявко А.А. М 219 Суперкомпьютеры и системы. Построение вычислительных кластеров: учебное пособие / А.А. Малявко, С.А. Менжулин. – Новосибирск: Изд-во НГТУ, 2018. – 96 с. ISBN 978-5-7782-3633-2 В пособии содержатся материалы, которые можно использовать при изучении структурной и функциональной организации кластерных вычислительных систем, а также для освоения принципов их использования. Описываются архитектурные решения четырех актуальных программных продуктов, имеющих практическую ценность для организации параллельных вычислений: PelicanHPC, Тorque, HTCondor, Slurm. Пособие адресовано студентам, обучающимся по направлениям 09.03.01 «Информатика и вычислительная техника» и 09.03.04 «Программная инженерия», а также может быть полезно студентам-старшекурсникам и аспирантам других специальностей и преподавателям смежных дисциплин. УДК 004.272.43:004.382.2(075.8) ISBN 978-5-7782-3633-2 © Малявко А.А., Менжулин С.А., 2018 © Новосибирский государственный технический университет, 2018

Стр.2

ОГЛАВЛЕНИЕ Введение ................................................................................................................... 5 В1. Концепция кластерных систем ................................................................... 5 В2. Требования к аппаратному обеспечению .................................................. 6 В3. Пути достижения параллелизма ................................................................. 7 В4. Методы построения вычислительных кластеров..................................... 8 В5. Типы кластеров ............................................................................................ 9 В6. Программное обеспечение вычислительных кластеров ....................... 11 В7. Операционные системы ............................................................................ 11 В8. Учебно-лабораторное техническое обеспечение .................................... 13 1. Кластер PelicanHPC ......................................................................................... 15 1.1. Описание архитектуры и характеристики программного продукта PelicanHPC ....................................................................................... 15 2.2. Развертывание кластера PelicanHPC ....................................................... 16 Вопросы для самопроверки .................................................................................. 24 2. Система пакетной обработки Torque ........................................................... 25 2.1. Основные теоретические сведения о Torque .......................................... 25 2.2. Структура системы .................................................................................... 28 2.2.1. Сервер заданий ................................................................................ 28 2.2.2. Сервис вычислительного узла: процесс pbs_mom ........................ 28 2.2.3. Представление вычислительных узлов ......................................... 29 2.2.4. Планировщик заданий ..................................................................... 32 2.3. Задания в Torque ........................................................................................ 32 2.3.1. Понятие задания .............................................................................. 32 2.3.2. Атрибуты задания ............................................................................ 34 2.3.3. Очереди заданий .............................................................................. 34 2.3.4. Возможные состояния задания ....................................................... 35 2.3.5. Операции с заданиями .................................................................... 35 2.3.6. Понятие ресурса. Типы ресурсов, управляемых Torque .............. 36 3

Стр.3

2.4. Взаимодействие Torque с пользовательской средой .............................. 36 2.4.1. Настройка пользовательской среды на примере оболочки csh ..................................................................................................... 37 2.4.2. Переменные окружения .................................................................. 38 2.5. Команды настройки Torque ...................................................................... 39 2.5.1. Настройка узлов с помощью команды qmgr ................................. 39 2.5.2. Команда pbsnodes ............................................................................ 42 2.6. Установка и настройка Torque на вычислительном кластере .............. 43 Вопросы для самопроверки .................................................................................. 49 3. Вычислительный кластер Condor ................................................................ 51 3.1. Основные теоретические сведения. Возможности Condor .................... 51 3.2. Архитектура Condor .................................................................................. 54 3.2.1. Аппаратная структура ..................................................................... 54 3.2.2. Программная архитектура .............................................................. 55 3.2.3. Управление ресурсами .................................................................... 56 3.2.4. Подготовка задания ......................................................................... 57 3.2.5. Обращение к Condor ........................................................................ 59 3.2.6. Управление процессом выполнения задания ................................ 61 3.3. Выполнение параллельных приложений ................................................ 63 3.4. Ограничения Condor ................................................................................. 64 3.5. Безопасность .............................................................................................. 65 3.6. Примеры файлов описания задания ........................................................ 66 3.7. Развертывание кластера Condor ............................................................... 68 3.7.1. Настройка главного и вычислительного узлов Condor на ОС Linux ...................................................................................... 68 3.7.2. Настройка вычислительного узла Condor на ОС Windows ......... 70 Вопросы для самопроверки .................................................................................. 76 4. Менеджер кластеров и планировщик заданий SLURM .......................... 77 4.1. Основные теоретические сведения .......................................................... 77 4.2. Архитектура SLURM ................................................................................ 78 4.3. Основные команды SLURM ..................................................................... 80 4.3.1. Команды запуска задач .................................................................. 80 4.3.2. Информационные команды ........................................................... 84 4.4. Установка SLURM .................................................................................... 87 Вопросы для самопроверки .................................................................................. 94 Библиографический список .................................................................................. 95 4

Стр.4