ИВМ СО РАН ПоискEnglish
институт
структура
сотрудники
конференции
семинары
ученый совет
совет молодых ученых
комиссия по РИД
техническая база
история
фотогалерея

исследования
разработки
экспедиции
эл. архив
годовые отчеты

ссылки
библиотека
документы
адреса и телефоны
 

Суперкомпьютер МВС1000/16

Аппаратная архитектура

Суперкомпьютер МВС1000/16 (далее — «кластер») представляет собой стойку, включающую элементы питания и охлаждения. Пользователи получают доступ к ней через локальную сеть.

Система состоит из 15 вычислительных узлов (ВУ), управляющего вычислительного узла (УВУ) и двух коммутаторов Fast Ethernet (K0, K1).


Аппаратная архитектура кластера

Коммутаторы: Compex 16-Port 10/100Mbps Fast Ethernet Switch.

В состав вычислительных узлов ВУ2-ВУ16 входят:

  • процессор Pentium-III 866 Mhz;
  • материнская плата Micro-Star International 815EM Pro MS-6315 chipset Intel815E;
  • оперативная память DIMM SDRAM 2_256 Mb, PC-133;
  • жесткий диск Fujitsu MPG3204AT 20Gb;
  • накопитель на гибких дисках 3,14"
  • сетевой интерфейс Eth0 Fast Ethernet — встроенный в плату;
  • сетевой интерфейс Eth1 Fast Ethernet Prime PX100 (Intel 21143).

В состав управляющего вычислительного узла (УВУ) входят:

  • процессор Pentium-III 1000 Mhz;
  • материнская плата Micro-Star International 815EM Pro MS-6315 chipset Intel815E;
  • оперативная память DIMM SDRAM 2_256 Mb, PC-133;
  • жесткий диск IBM IC35L030AVER07-0 30Gb;
  • накопитель на гибких дисках 3,14";
  • устройство чтения CD-ROM;
  • сетевой интерфейс Eth0 Fast Ethernet — встроенный в плату;
  • два сетевых интерфейса Eth1, Eth2 — Fast Ethernet Prime PX100 (Intel 21143).

Все узлы имеют выходы для подключения монитора, клавиатуры и мыши, которые могут использоваться для проведения ремонтно-диагностических работ.

Конструктивно система представляет собой стойку 19" размером 553x780x960 мм2, весом 200 кг. Потребляемая мощность не более 2 кВт.

Программная архитектура

В настоящее время все узлы МВС-ИВМ 1000/16 работают под управлением операционной системы Linux Red Hat 7.0. Для организации среды работы пользователей используются системные сервисы Linux, в частности, nfs (сетевая файловая система), rsh (удалённый командный интерпретатор), ftp (протокол пересылки файлов), ssh (удаленный доступ), qserver (система запуска задач) и интерфейс параллельного программирования в стандарте MPI.

Топология сетевых соединений модулей между собой следующая:

  • каждый из модулей (как управляющий, так и вычислительные) включен во внутреннюю управляющую сеть — Fast Ethernet на базе коммутатора «каждый с каждым». Эта сеть используется для всего внутреннего управляющего трафика — nfs, rsh и все прочие сетевые протоколы, применяемые при взаимодействии модулей, работают именно в этой сети.
  • Параллельно и симметрично, каждый из модулей включен во внутреннюю связную сеть — также Fast Ethernet на базе отдельного коммутатора. Эта сеть используется исключительно для обмена сообщениями между процессами пользовательских задач во время счета (фактически, для работы MPI, других аналогичных библиотек или надстроенного над ними высокоуровневого программного обеспечения).
  • Наконец, управляющий модуль (и только он) включен во внешнюю сеть для организации доступа из внешнего мира.

Таким образом, управляющий модуль включен в 3 сети, а каждый из вычислительных модулей — в 2 сети.

Наличие отдельной внутренней связной сети, причем с независимой полносвязной коммутацией, принципиально. В настоящее время она используется как TCP/IP-сеть, предназначенная исключительно для обслуживания пользовательских обменов сообщениями, что уже само по себе дает более высокие и предсказуемые показатели коммуникационной производительности, чем при использовании единой (управляющей и коммуникационной) сети. Однако разработчики оставляют за собой право в последующих версиях ОС перевести эту сеть на более высокопроизводительные протоколы, вплоть до замены драйверов на нестандартные и потери совместимости с IP по низкоуровневым протоколам.

Программное обеспечение

На кластере ИВМ СО РАН МВС-1000/16 установлены следующие программные компоненты:
  1. Коммуникационные среды — реализации MPI:
    • MPICH ver 1.2.0,
    • LAM ver 6.3.3.
  2. Компиляторы:
    • GNU C/C++/F77 ver 2.96,
    • Intel C/C++ compiler ver 7.0 noncommercial.
  3. Библиотеки:
    • пакет Intel Math Kernel Library v. 5.2 SP1, включающий в себя следующие оптимизированные библиотеки:
      • BLAS — Basic Linear Algebra Subprograms, библиотека элементарных векторных и матричных операций;
      • FFTs — библиотека для выполнения одно- и двумерного БПФ;
      • LAPACK — библиотека для выполнения матричных преобразований, решения СЛАУ и проблемы собственных значений;
      • Vector Math Library (VML) — библиотека для вычисления элементарных функций над векторами.
  4. Системы параллельного программирования:
    • Пакет SCALAPAC ver 1.7 — параллельная версия пакета LAPACK;
    • Система DVM ver. 3.82.
  5. Документация в формате html, pdf: