Полигон-2

Тема выросла из темы сборки машины для GPGU выслилений на пачке GTX 580. Благодаря советам форумчам и вдумчивому гугленью, а так-же выносу мозгов техподдержке nVidia в России я понял что первоначальный замысел по железу не верен и требуется смотреть в другую сторону.
В результате советов форумчан, и даже разговора с продавцом серверных запчастей на Avito, (большое ему спасибо!), требования к железу были пересмотрены и я стал смотреть в сторону серверных плат. Китайские "фиг пойми что с глюками" тоже отсеялись и остался выбор... выбора не осталось. Остался только Dell и его сервера. Благо его продукция в виде ноутбука DELL vostro 1500 после пары итераций апгрейда процессора-памяти-жесткого-смены батареи и мелкого ремонта с заменой пллатки управления запуском пашет у меня до сих пор.
Выбор среди серверов DELL я остановил на Dell PowerEdge С6220. Плата продавалась в России, недорого... Но тут мне повезло, продавец сказавший что ее можно запустить без сервера кинул ссылку с очень похожей платой, но С8220! У которой во первых оказался встроенный видеоадаптер.. что позволяет в оба слота PCI-E устанавливать GPGU не занимая их видеокартой, а главное на старшей модели платы оказалось 4 onboard SATA. Которых на младших С8220 и на всех С6220 было всего по 2 штуки.
Вот та самая ссылка: https://forum.level1techs.com/...ons/109554
Долго ли, коротко ли, но я зарегистрировался на еВау и купил такую плату которая оказалась почти на половину дороже младших моделей с парой SATA. И теперь она едет ко мне. Когда приедет - надеюсь к тому времени я уже смогу купить память и процессоры хоть минимально и надо будет ее запустить не спалив, а в дальнейшем развивать конфигурацию в первую очередь по памяти.

Та самая плата С6220 с Авито. Кстати она уже благополучно продана.
https://i.imgur.com/6Xz07N0.jpg

А вот та что с еВау на 4 порта и с видео встроенным.
https://i.imgur.com/dgpoYdu.jpg[

Фотки не мои, мои будут когда приедет железо... где-то через месяц-полтора. Надеюсь приедет целое.. а не как часто у Почты России.

Купил сегодня с китая пару процессоров Xeon E5-2603 LGA2011. По 4 ядра каждый + Гипертрейдин. Самые минимальные для этой платы, но для начала хватит.
Аналогично едет переходник с АТХ питания на разъем этой платы.

16-ки на 1600 без радиаторов во-первых гораздо меньше греются, во-вторых, они по цене на вторичном рынке имхо самые интересные из расчета доллар за мегабайт.

Прикупил кабель mini-SAS - 4 SATA. На плате прямо на борту контроллер с поддержкой RAID в BIOS и разъемом mini-SAS. Можно сразу сделать "дисковую полку". Колеблюсь между SSD и механическими винтами. Если проект дотянет до стадии мобильности - придется в любом случае переходить на серверные SSD Intel - во первых они не так боятся вибрации как механические винты которым нужна суровая амортизация, во вторых способны питаться только от +12В, что благоприятно для мобильных шасси с единой бортовой сетью. Да и серверной плате самой надо только +12. Так и подмывает вместо UPS использовать мою систему солнечную, 170 а/ч батарея и 6 панелей-соток напрямую прицепив питание на батарею проводами по 10 квадратов.

Ну что, приехала плата, удивительно быстро для доставки из США на мой взгляд.

https://i.imgur.com/KYulxTq.jpg

Красота длиной 60 см и весом килограмма в 2.5+. Сразу видно качество изготовления, никаких дешевых китайских электролитов.
Жду процессоры, память, и прочее.

Пока подключил райзер для второго GPGU
https://i.imgur.com/opid9HB.jpg

И хочу узнать работают ли вот эти 2 разъема SATA сами по себе или только для "проброса канала" на дочернюю плату SAS.
https://i.imgur.com/rOa51i3.jpg

Приехали два процессора Xeon E5-2603. По 4 ядра без гипертрейдинга, самые дешевые для тестов.

Установка первого.
https://i.imgur.com/1Ia5sf7.jpg

Оба угнездились на свои места.
https://i.imgur.com/jnYbG5J.jpg

Общий вид.
https://i.imgur.com/WmjZTfS.jpg

dhaemon я пока взял самые простые и дешевые процессоры из возможных, 2603 - 3 тысячи с доставкой за пару. 2650 уже около 4,5-5 К рублей за штуку. Почувствуйте разницу, как говорится.

А ожидания... вот когда соберу хотя-бы 64 Гб памяти и GPGU и отработает первая задача - тогда и станет ясно первое.

Запустил. Зараза очень долго конфигурирует память и проверяет до старта BIOS.. До 3-х минут, И не нашел как проверку отменить.

[q]

Запустил. Зараза очень долго конфигурирует память и проверяет до старта BIOS.. До 3-х минут, И не нашел как проверку отменить.

[/q]

Это нормально для ECC-памяти.

Смог завести через IPMI vKVM клиент. Он зараза написан на старой Java и пока не реквищировать у матери старый ноут в ВинХР с 7-й Оракловской Жабой - запустить не получалось, сваливалось с ошибками клиента даже после отключения контроля безопастности.
Интересная штука, кино не посмотреть через нее а лазить по системе можно. И ведь пробивает уже запущенную систему влет, никакие пароли и ничего не мешают на рабочем столе действовать, просто система считает что это сам юзер действует.

Приехала корзина в 5,25" отсек на 4 х 2,5 винта. Красиво.

Очередной этап, разборки с GPGU.
https://i.imgur.com/kG32ghY.jpg

Дело двигается, завтра до меня доедет GPGPU Tesla K20. У кого есть опыт эксплуатации и настройки в Linux оных забавных карт?

Проблема оказалась в некорректной работе Edge Slot который выделен для GPGPU. В двух других Тесла определяется и работает нормально.
А я себе все мозги высушил, BIOS перешил на самый новый...

Сделал проброс порта через роутер на сервер, теперь можно удаленно заходить по ssh. Теперь тот человек для которого машина собственно и делается сможет на ней работать.

Приехали новые радиаторы для 1U серверов Coolerserver с Китая. медный радиатор сверху улитка, провод 4 пина. Шумят на полных оборотах на удивление не сильно, процессоры 70 Вт ТДП под полной нагрузкой держат на 48-50 градусов, учитывая что я туда хочу Е5-2650L которые при 8 ядрах тоже 50 Вт - я доволен. И с низкими кулерами Тесла на "высоком" райзере встала как родная. Красота.

Выложу как сфоткаю. И раньше не особо интересно было кроме меня никому.

Завтра сделаю фото и выложу в течении дня. Тесла - адская печка, я под струей ее выхлопа 97 Вт ТДП - голову сушил после душа.
Но еще больше понимаешь ее мощь когда видишь в динамике модель облака межзвездного газа в процессе уточнения модели с повышением ее полноты... Или в динамике течение процесса Джинса, фрагментацию газового облака под действие гравитационного коллапса и распад на все более мелкие ячейки с последующим звездообразованием.

Размерчик конечно у Теслы "нигерский"

falanger написал:

[q]

Зато и производительность в FPU32 и шина памяти 320 бит

[/q]

Это же по сути GTX780 с большим кол-вом CUDA ядер и большим кол-вом памяти. Там же 6гб на 320 бит?

Сегодня наконец купил М.2 SSD samsung 960 EVO 250 Gb что давно собирался сделать. Если не смогу на него установить систему для сервера то попытабсь использовать как SWAP быстрый.
Воткнут М2 через переходник ASUS HYPER M.2 X 4 MINI .
А вот собственно и фото:
https://i.imgur.com/huLkJoe.jpg
Но устройство не может быть загрузочным, сервер его не поддерживает а AHCI он не эмулирует.

И еще хорошая новость, на райзере GPGPU где не захотели работать видеокарты и Тесла - заработал PCI-E 4x-M2 переходник. Т.е. иожно 2 слота под GPGPU все-таки отдать.

А только одну Tesla можно подключить? ПРостите если вопрос глуп, я немного не шарю в этом
Просто у вас тесла + затычка для вывода изо, нет ли возможности поставить две карты для вычислений и мониторить\управлять удаленно, по сети например?

Я тут сегодня совершенно отморозился, купил 4 SSD и собрал рейд по новой для сервера.

Rio444 написал:

[q]

Ну отморозок...

[/q]

Зато получилось шустро и надежно. Надо один SSD такой-же еще в запас будет взять или пару, пусть на полке лежат.
Забрал на почте и новый Xeon E5-2650L и жду второй, как приедет обновлю процессоры и останется добивать память до 16-32 гб и вторую Теслу взять.

Начал собирать каркас для платы сервера, накопителей и видеокарт. Материнку прикрутил и GPGPU райзер. Потом надо будет собрать верх каркаса с корзиной рейда и блоком/блоками питания, а потом между ними надо будет каркас с видеокартами собрать когда они будут все.

Rio444 написал:

[q]

Коллега, картинок побольше!
Голый текст выглядит суховато.

[/q]

Завтра при хорошем свете сделаю несколько фото. Алюминиевый уголовк, винты-гайки М4, заклепочник и заклепки. Пока разместил плату материнскую сервера и вторым ярусом райзеры для "видеокарт". Над ними надо закрепить накопители на своей раме и сверху блоки питания. а потом красиво уложить провода

falanger написал:

[q]

А вот и фото.

[/q]

Спасибо! Но нельзя же так экран разрывать! Допускается вставлять фото размером не более 800х600.

Ну что поехали.

"Первый ярус".

https://i.imgur.com/DFFCu3r.jpg

Материнка с парой Xeon E5-2650L под "улитками" для 1U-корпусов. Несмотря на то что кулеры из Китая - качества хорошего медные, я доволен. Марка COOLERSERVER с логотипром пантеры.
Еще пара планок 4 Гб ЕСС REG и на переходнике М.2 SSD Samsung 960 EVO 250 Гб отданный полностью под SWAP раздел.

"Второй ярус".

https://i.imgur.com/lL6mQCT.jpg

Серверная Тесла К20 с "улиткой" и воздуховодом аж из Австралии.
Если ставить нормальные карты с активным охлаждением вроде GTX 780 Ti или Теслы а бортовым кулером штатным то можно поставить 2 карты, каркас сделан именно так.

"Третий ярус" - пара SSD Kingston A400 240 Gb в рейд1 и 4 винта в корзине ноутбучных по 1 Тб Барракуды зеленые в рейд5.
Фотку забыл сделать а раскручивать не хочу.

"Четвертый ярус".

https://i.imgur.com/uCW9xIy.jpg

Блок питания Термалтэк бронза 850 Вт модульный.

Вся разводка на стяжках по каркасу провода питания и на винты и прочее.

Народ нет ни у кого опыта как разбудить сервер выключенный правильно ИБП при пропадании питания?
Питание с сервера совсем не пропадает, так что автостарт по появлению питания не работает. Будить через IPMI вручную не очень кузяво.

falanger написал:

[q]

выключенный правильно ИБП при пропадании питания?
Питание с сервера совсем не пропадает

[/q]

Как это, разве ИБП не должен выключится сам после того как погасил комп?


aleksvolgin написал:

[q]

always on

[/q]

falanger написал:

[q]

Питание с сервера совсем не пропадает

[/q]

Так-то это не срабатыеват, как falanger и пишет.

falanger написал:

[q]

Народ нет ни у кого опыта как разбудить сервер выключенный правильно ИБП при пропадании питания?

[/q]

Опыта нет, но идея есть ;-) Например устройство инициирующее сигнал на WoL или WoR при появлении напряжения в сети перед ИБП.


aleksvolgin написал:

[q]

Это зависит от настроек ИБП.

[/q]

Не вижу в этом логики. Если ИБП не отключается после гашения компа, то должен быть в нём предусмотрен механизм запуска компа после появления питания, иначе какой тайный смысл в холостой работе DC-AC конвертера? Тренировка АКБ глубоким разрядом?

В ИБП слишком тупорылая прога управления родная, там ничего не настроить, и сервер не поддерживает побудки по USB.
Программу проверял под виндами от него SVEN POWR Pro+ 700 USB. И в NUT пока ничего такого чтобы влезть внутрь ИБП пока тоже не нашел, есть графические утилиты и WEB-интерфейс NUT но я их пока не запускал и не проверял. Доступ то весь по SSH консольный.
Пока склоняюсь настроить оповещение NUT на рассылку емыла и будить по IPMI ручками "когда роутер очнется" по появлении светы в розетке. Все равно промежуточные коммутаторы провайдера без ИБП сами.

После свертывания операционки и отключения сервера ИБП тупо работает на минимуме питающем дежурку блока питания до разряда батареи.
В родной утилите доступа к функциям настройки ИБП нету никакого, там даже контроля напряжения батареи нет. В мустеакие моем мелком и то больше показывает, но Свен мощнее и в железном корпусе лучше сделан.

Ну что, настроил на сервере удаленный IPMI. Теперь даже из деревни можно включать-выключать-ребутить, контролировать параметры и накатывать систему. Удобно.

Начал собирать вторую машину для вычислений, и вот для публики снял видео небольшое.
https://youtu.be/Sl0CkpcR0qI

В чем смысл данной сборки, кроме ощущения того что можешь что то считать и сети обучать, этого ощущения можно добиться арендой облака.
Вы реально собираетесь что то коммерческое или научное считать? под конкретный проект собиралось?

Вот видео запуска платы и некоторые важные моменты связанные с этим: https://youtu.be/ltwzM1-iMWg

Познавательные видео про Тесла К20
Попытка поставить водоблок от 780 Ти https://youtu.be/ksBptNpX0VM
Про саму конструкцию системы охлаждения К20

Делаю каркасы на 3 Теслы. Конструкция из уголка к которой карта подвешивается на стяжках упираясь пластиковым кожухом радиатора.
Чего только не перепробовал перед этим...