Полигон-2

Бродят мысли собрать для запуска ТензорФлоу кластер видеокарт. После многих раздумий понял что собирать надо на Zotac GTX 580 AMP2 3Gb картах. Причем поскольку только два первых слоя решаемой задачи будут 1+10 гб - то поле памяти видеокарточного кластера должно быть не менее 10 гб, шейдерная производительность вторична. Тут уже в свою очередь встают бюджетные ограничения - на GTX 680 уже собирать не по карману.
Потому конфигурация вырисоввывается 4 х 580 3гб, чтобы получилось общее поле памяти карт в 12 гб. Соответственно поскольку будет 24/7 работа - на карты нужна водяная система охлаждения, причем надо еще решить какую схему выбрать, разбивать ли ее на сегменты карты-процессор отдельные, делить ли на сегменты охлаждение карт, дублировать ли помпы, ставить ли охлаждай на чипсет-память.
Плата соответственно должна поддерживать 4 SLI, причем слоты должны работать все в 16х-16х-16х-16х. А все что сейчас продается в магазинах новое либо только на 3 слота, либо вовсе слоты в 16-8-8 что для моего применения неприемлемо. Соответственно приходится искать старые платы на Х58 с дополнительными nForce 200 или подобными, 2009-2013 годов.
Пока я знаю только три варианта.
GIGABYTE GA-X58A-UD9 - около 20-22К рублей.
EVGA 170-BL-E762-A1 - даже и непонятно сколько, сейчас она в торте на еВау.
Связка ASUS Rampage 3 Extreme + расширитель на 4 SLI ROG_Xpander у которого на борту фазы питания свои и два чипа nForce 200, около 18К все вместе.
Если у кого есть какие мысли и советы - с удовольствием выслушаю.

Принял решение что материнка будет GIGABYTE GA-X58A-UD9. Она более-менее распространенная, под нее есть водоблоки на мосты-мосфеты. В Мск продают в магазине новые по 1500 р.

Видео - Zotac GTX 580 AMP2 3Gb 4 штуки, буду проверять стресс-тестом и если надо скальпировать-менять пасту. Два водоблока ЕК на них уже едут.

SSD будут шинные PCI-E на М.2 для SWAP системы, вероятно в RAID для скорости и долговечности, сами SSD - kingston HyperX.

Операционная система будет на SSD SATA Kingston 120-240 гб.

Резервирование системы - SSD HDD вероятно Хитачи или другой с большим ресурсом в 1-2 Тб.

Процессор - 1366 сокет, I7 900 серии или Xeon если его поймет система.

ОЗУ - 24 Гб.

Точнее?

falanger
Вот официальная портянка по первому титану.

Памяти 6GB, шина 384. Даже на Авито они порой проскакивают, а если смотреть на международных торговых площадках - выбор еще больше.

Так же хотел уточнить что как таковой QUAD SLI и вообще SLI Вам не нужен. Вам нужны (нужны ли?) лишь быстрые PCI-E слоты. Агрегации карт в SLI не будет.

По поводу плат - интересные платы были под AM3+ с 4-6 длинными PCI-E слотами. У меня когда-то давно была в чем-то похожая задача, формулировалась так, решена была так.

[UPD]
Да, я в общем солидарен с опередившим коллегой. Титан на GK***/GM*** (хоть первый, хоть блек хоть икс или их тандем) будет попроще и в приобретении и в обслуживании нежели тандем из четырех 580-х.

У 5 серии езе косяк - теплораспределительная крышка на гпу, они даже под водой хреново будут охлаждаться или скальпировать их все под феном и ставить универсальные водоблоки + обдув воздухом. Чтото вроде фермы надо будет собрать. А еще они жрут дофига, на такой квад надо обеспечить 2кв питалова

Питание обеспечу, два БП по 1,2 кВт связкой как у майнеров через реле-синхронизатор.
А скальпировать... вода будет ставится именно чтобы лучше охлаждение на штатных частотах и бесшумное, разгона не будет, будет то что накрутил Zotac штатно. Их краты тоже выбрал из-за качественных компонентов. Возможно даже попробую даунвольт карт, если будут стабильно работать на пониженном питании.
А собирать придется именно на плате, без выносов, потому что нужен межкарточный обмен и по мосту SLI и по 16х PCI-E. Как майнеры лепят через 1х на выносах нельзя, в отличии от майнинга в Тензоре огромный межкарточный обмен на всю ширину канала. Это же нейросеть...