Полигон-2

falanger
Тут всё зависит от бюджета и от необходимой производительности проца. Получить 8+8+8+8 можно достаточно бюджетно, получить 16+16+16+16+16+16 наверное просто не возможно. Столько PCI-E линий есть только у крайних топовых процов, а всякие P6T Суперкомьютер - это или PLX мосты или NF200. Ну а если повесть на PCI-E 4x мост в 16x, то мы не получим bandwidth 16x.

К сожалению, на вскидку я не подскажу решения с 6 длинными слотами, особенно не понимая требований к мощности CPU и памяти, но как вариант - у DELL есть "копеечные" платы под четыре сокета G34 (64 ядра ATHLON FX и 1TB памяти!) в формате 2U/4U.

У микро есть чуть проще и чуть стандартнее - SuperMicro AMD H8DGI-F. Два сокета и полтерабайта (бюджетно правда получится лишь 256GB=16*16GB) памяти - можно отказаться от L3 на SSD. Ну и PCI-E там опять же уже много... только вот всё же может 2 титана первых или три GTX760 4GB? Такие тоже бывают и стоят не дорого.

IdeaFix написал:

[q]

DELL есть "копеечные" платы под четыре сокета G34 (64 ядра ATHLON FX и 1TB памяти!) в формате 2U/4U.

[/q]

Можно поподробней?

И вы упоминали что используете пару Квадро 4000 видеокарт как "кластеры под MPI" - можно подросбности? Какие требования в PCI-E слотам это выдвигает? 16х режим? 8х или вообще можно обойти 1х майнерскими райзерами через USB 3.0 кабель?
Просто нашел пару плат на 256-512 Гб оперативки с дуал-процами и PCI-E 16х. А вот на серверных 2U ими и не пахнет, И размен теребайта оперативки платы с 64 ядрами процов на кластеры карт - фиг знает равноценно ли...

Вроде как самое подходящее Supermicro X10DRI + Xeon E5 2680 V3 + 2х32 Гб для начала. Слоты 3.0 16х, формат ЕА-АТХ... всякие бэксплайны не нужны и хитрые райзеры.

BreakPoint

SLI скорее всего предназначался для увеличения пропускной способности при доступе памяти и объединения видеопамяти в общий массив (которого не происходит), так, что вполне верятно, что в таких системах SLI не нужен, а нужен другой подход к построению вычислителя.

radbek
Объединения памяти не происходит в D3D/OGL, а не в SLI как таковом. Мы же не знаем какую программную обвязку использует ТС и не знаем какой там уровень абстракции от железа. А ну как там что-то простое на высокоуровневом языке, а параллелит задачу уже какая-то вм. И мы не знаем, может ли всё это использовать сли бридж для того, чтобы разгрузить пци-е.

Только вот мне в любом случае, такая архитектура программы, при которой вычислитель находится по одну сторону pci-e, а память по другую, кажется бредовой. Особенно, если это L1 память. Жаль только что бредовые задачи - не редкость. Например: "Мы знаем forth, у нас есть кривая реализация нашей идеи на нём и кривой враппер mpi. Мы где-то слышали что посредством еще одного враппера это запустится под CUDA. Делай!"

При этом, если всё сделать нормально, задача выполнится за месяц, а не за год.... но, что есть - то есть.

BreakPoint
Представьте что есть некая задача, у которой 12GB данных на кэше первого уровня (видеопамять), 64 GB данных на кэше второго уровня (оперативная память), небольшие сотни гигабайт на кэше третьего уровня (SSD массив) и тёпленькое на дисковой полке... По всему получается что ПСП очень важна, но, не зная ТЗ мы можем только гадать...