Внимание! Это временный неофициальный архив старой версии форума Полигон Призраков, созданный сочувствующим форуму участником. Этот сайт просуществует лишь до тех пор, пока администрация Полигона не сдержит своё обещание и не откроет официальный архив по адресу old.sannata.org.

Полигон-2

Форум о старых компьютерах

Объявление форума

Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС.

Полигон-2 »   Технический флейм »   SLI-машина 3..4 х GT 580 3Gb.
RSS

SLI-машина 3..4 х GT 580 3Gb.

Обсуждение и сборка компа для ТензорФлоу с 4 или более картами в SLI.

<<Назад  Вперед>> Страницы: 1 2 3 4 5 * 6 7 8 9 10
Печать
 
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
Может тогда посоветуете плату вроде вашей но не менее 6 слотов PCI-E 16х?
Завтра я смогу уточнить требуется ли кластеру SLI и 16х слоты или можно обойти майнерскими райзерами 1х. Аналогично хватит ли GTX 580 3Gb или GTX 590 3Gb. Если можно обойтись минимумом... то тогда просто нужна будет плата на максимум слотов с хотя-бы парой под быстрый кэш на SSD шинных и оперативкой 128 или более гб.
IdeaFix
Гость

Ссылка

falanger
Тут всё зависит от бюджета и от необходимой производительности проца. Получить 8+8+8+8 можно достаточно бюджетно, получить 16+16+16+16+16+16 наверное просто не возможно. Столько PCI-E линий есть только у крайних топовых процов, а всякие P6T Суперкомьютер - это или PLX мосты или NF200. Ну а если повесть на PCI-E 4x мост в 16x, то мы не получим bandwidth 16x.

К сожалению, на вскидку я не подскажу решения с 6 длинными слотами, особенно не понимая требований к мощности CPU и памяти, но как вариант - у DELL есть "копеечные" платы под четыре сокета G34 (64 ядра ATHLON FX и 1TB памяти!) в формате 2U/4U.

У микро есть чуть проще и чуть стандартнее - SuperMicro AMD H8DGI-F. Два сокета и полтерабайта (бюджетно правда получится лишь 256GB=16*16GB) памяти - можно отказаться от L3 на SSD. Ну и PCI-E там опять же уже много... только вот всё же может 2 титана первых или три GTX760 4GB? Такие тоже бывают и стоят не дорого.
Сейчас на форуме
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
Я постараюсь уточнить сегодня-завтра требования к подсистеме видеокарт. Но память на плате жела тельно больше да.
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
IdeaFix написал:
[q]
DELL есть "копеечные" платы под четыре сокета G34 (64 ядра ATHLON FX и 1TB памяти!) в формате 2U/4U.
[/q]
Можно поподробней?

И вы упоминали что используете пару Квадро 4000 видеокарт как "кластеры под MPI" - можно подросбности? Какие требования в PCI-E слотам это выдвигает? 16х режим? 8х или вообще можно обойти 1х майнерскими райзерами через USB 3.0 кабель?
Просто нашел пару плат на 256-512 Гб оперативки с дуал-процами и PCI-E 16х. А вот на серверных 2U ими и не пахнет, И размен теребайта оперативки платы с 64 ядрами процов на кластеры карт - фиг знает равноценно ли...
IdeaFix
Гость

Ссылка

falanger
PowerEdge C6145 + шасси PowerEdge C410x PCIe.

Плата (только плата!) от первого стоит ну очень не дорого, а вообще, поискать у афинажников что-то подобное и купить недостающие остатки - в общем вариант.

Вообще, внешнее шасси под беспропеллерные мощные карты - это интересно, но поймать такое по цене металлолома - задача... ну, или удача.


Хотя поймать SuperMicro AMD H8DGI-F будет попроще.

У меня Quadro 4000 (да и k2000) стояли по одной. До этого были FX4800/FX6000, но это было давно, да и карты ну очень уж старые. Рискну предположить что всё работало в слотах не быстрее чем PCI-E 2.0 8x, но гонять огромные объёмы задачи не было. Задача была спроектирована так, что каждый день мне давали 15-20 GB исходных данных, я складывал их на NFS шару и через сутки забирал 4GB результата. Процесс был автоматизирован. Там была нужна тупая GPGPU мощность - форт. Это было на квадро фх, а сейчас скорее vSGA, а там 8x - за глаза.
Сейчас на форуме
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
Вроде как самое подходящее Supermicro X10DRI + Xeon E5 2680 V3 + 2х32 Гб для начала. Слоты 3.0 16х, формат ЕА-АТХ... всякие бэксплайны не нужны и хитрые райзеры.
BreakPoint
Гость

Ссылка

А SLI точно нужно? Для манинга например SLI не нужен. А тут принцип скорее всего тот же.
Если нет, то есть майнерские материнки которые до 6 карт поддерживают, правда через райзеры. Обычные материнки как правило больше 3-4 карт не тянут.
У меня ферма стоит на 6хRX580 могу попробовать запустить тензор флоу для тестов, если объясните как.
Сейчас на форуме
radbek
Full Member


Всего сообщений: 231
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
12 окт. 2013
BreakPoint

SLI скорее всего предназначался для увеличения пропускной способности при доступе памяти и объединения видеопамяти в общий массив (которого не происходит), так, что вполне верятно, что в таких системах SLI не нужен, а нужен другой подход к построению вычислителя.
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
Возможно что придется искать б\у Теслы М2090 и использовать их.

И вот еще кое-что по нейросетям выплыло https://habrahabr.ru/company/ashmanov_net/blog/346958/
Но это уже готовую обученную сеть использовать, обучать все равно на массиве GPU придется.
IdeaFix
Гость

Ссылка

radbek
Объединения памяти не происходит в D3D/OGL, а не в SLI как таковом. Мы же не знаем какую программную обвязку использует ТС и не знаем какой там уровень абстракции от железа. А ну как там что-то простое на высокоуровневом языке, а параллелит задачу уже какая-то вм. И мы не знаем, может ли всё это использовать сли бридж для того, чтобы разгрузить пци-е.

Только вот мне в любом случае, такая архитектура программы, при которой вычислитель находится по одну сторону pci-e, а память по другую, кажется бредовой. Особенно, если это L1 память. Жаль только что бредовые задачи - не редкость. Например: "Мы знаем forth, у нас есть кривая реализация нашей идеи на нём и кривой враппер mpi. Мы где-то слышали что посредством еще одного враппера это запустится под CUDA. Делай!"

При этом, если всё сделать нормально, задача выполнится за месяц, а не за год.... но, что есть - то есть.

BreakPoint
Представьте что есть некая задача, у которой 12GB данных на кэше первого уровня (видеопамять), 64 GB данных на кэше второго уровня (оперативная память), небольшие сотни гигабайт на кэше третьего уровня (SSD массив) и тёпленькое на дисковой полке... :) По всему получается что ПСП очень важна, но, не зная ТЗ мы можем только гадать...
Сейчас на форуме
<<Назад  Вперед>> Страницы: 1 2 3 4 5 * 6 7 8 9 10
Печать
Полигон-2 »   Технический флейм »   SLI-машина 3..4 х GT 580 3Gb.
RSS

1 посетитель просмотрел эту тему за последние 15 минут
В том числе: 1 гость, 0 скрытых пользователей

Последние RSS
[Москва] LIQUID-Акция. Сливаются разъемы CF
МС7004 и 7004А на AT и XT
Пайка термотрубок
Проммать s478 PEAK 715VL2-HT ( Full-Size SBC)
Подскажите по 386 материке по джамперам.

Самые активные 5 тем RSS