Полигон-2

falanger
У меня всё начиналось банально - для работы понадобилась дома ESXi лаба. Для того, чтобы эмулировать рабочие процессы, была в общем легально получена лицензия и в кластере появились две ноды для ha, потом появилась виртуальная дисковая полка. хотя все задачи решались на DAS, а потом в инициативно-приказном порядке была поставлена задача попробовать vSGA.

К тому времени это сменилось на это и старая машина на E5450/16GB стала хоть и частью ha кластера, но часто выводилась из работы. В итоге я воткнул в машину F40 варпдрайв и сначала гефорс, переделанный в квадро 2000, а потом и квадро 4000 и всё у меня было хорошо и замечательно... т.е. видеокарта "разделялась" между всеми виртуальными машинами, которым был дан vSGA доступ. Машины бодренько работали с CAD и всё такое.... но когда я попробовал собрать то же самое на SuperMicro H8SFL-F, то оказалось что если я хочу квадру, я должен отключить G200i, а за одним и ipkvm А потом оказалось, что даже после этого на куда более серьезной железке всё это дело всё равно не работает.... кажется что-то описано тут - http://forum.ixbt.com/topic.cgi?id=58:5060

В общем сейчас у меня в пъедистальном корпусе собрана такая машина:

Opteron 6272/H8SGL-F/128GB DDR3 1600 ECC RDIMM, 2*8TB RAID6 Adaptec 5805, intel S3500 cache, SUN F40 Cache, Quadro 4000 (vDGA. фактически не используется). Ну там упс, два аплинка, что-то еще... объём памяти и кэша позволяет работать со снапшотами очень быстро. Да и вообще машина много прикладных и бытовых задач решает.

ESXi 5.5, на работе выше не переходят, ну и я сижу на 5.5 - хватает.

falanger
Тут всё зависит от бюджета и от необходимой производительности проца. Получить 8+8+8+8 можно достаточно бюджетно, получить 16+16+16+16+16+16 наверное просто не возможно. Столько PCI-E линий есть только у крайних топовых процов, а всякие P6T Суперкомьютер - это или PLX мосты или NF200. Ну а если повесть на PCI-E 4x мост в 16x, то мы не получим bandwidth 16x.

К сожалению, на вскидку я не подскажу решения с 6 длинными слотами, особенно не понимая требований к мощности CPU и памяти, но как вариант - у DELL есть "копеечные" платы под четыре сокета G34 (64 ядра ATHLON FX и 1TB памяти!) в формате 2U/4U.

У микро есть чуть проще и чуть стандартнее - SuperMicro AMD H8DGI-F. Два сокета и полтерабайта (бюджетно правда получится лишь 256GB=16*16GB) памяти - можно отказаться от L3 на SSD. Ну и PCI-E там опять же уже много... только вот всё же может 2 титана первых или три GTX760 4GB? Такие тоже бывают и стоят не дорого.

IdeaFix написал:

[q]

DELL есть "копеечные" платы под четыре сокета G34 (64 ядра ATHLON FX и 1TB памяти!) в формате 2U/4U.

[/q]

Можно поподробней?

И вы упоминали что используете пару Квадро 4000 видеокарт как "кластеры под MPI" - можно подросбности? Какие требования в PCI-E слотам это выдвигает? 16х режим? 8х или вообще можно обойти 1х майнерскими райзерами через USB 3.0 кабель?
Просто нашел пару плат на 256-512 Гб оперативки с дуал-процами и PCI-E 16х. А вот на серверных 2U ими и не пахнет, И размен теребайта оперативки платы с 64 ядрами процов на кластеры карт - фиг знает равноценно ли...

Вроде как самое подходящее Supermicro X10DRI + Xeon E5 2680 V3 + 2х32 Гб для начала. Слоты 3.0 16х, формат ЕА-АТХ... всякие бэксплайны не нужны и хитрые райзеры.

BreakPoint

SLI скорее всего предназначался для увеличения пропускной способности при доступе памяти и объединения видеопамяти в общий массив (которого не происходит), так, что вполне верятно, что в таких системах SLI не нужен, а нужен другой подход к построению вычислителя.