Внимание! Это временный неофициальный архив старой версии форума Полигон Призраков, созданный сочувствующим форуму участником. Этот сайт просуществует лишь до тех пор, пока администрация Полигона не сдержит своё обещание и не откроет официальный архив по адресу old.sannata.org.

Полигон-2

Форум о старых компьютерах

Объявление форума

Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС.

Полигон-2 »   Технический флейм »   SLI-машина 3..4 х GT 580 3Gb.
RSS

SLI-машина 3..4 х GT 580 3Gb.

Обсуждение и сборка компа для ТензорФлоу с 4 или более картами в SLI.

<<Назад  Вперед>> Страницы: 1 2 3 4 * 5 6 7 8 9 10
Печать
 
IdeaFix
Гость

Ссылка

radbek
С ресурсом там всё нормально. Нужно понимать что кэшируются в сосновом тёплые данные для чтения и считается что задача должна поместиться в эти терабайты. А раз так, то с чередованием чтение-запись там всё умеренно. Но если есть сомнения, всегда есть Core 7-го поколения, чипсет 200+ и intel optane :)

Просто warpdrive на eMLC десятилетней давности, да еще и сдобренные контроллерами sandforce без всякого TRIM как-то выжили под кэшем в течении более чем десяти лет и сейчас продабтся менее чем по 100 баксов за 400GB версию.
Сейчас на форуме
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
Вероятно буду собирать машину, но медленно-медленно...
IdeaFix
Гость

Ссылка

falanger
Держите в курсе, особенно относительно технических частей и особенно неудач. Просто я в своё время собирал vSGA кластер из фекалий и палок. В интернетах всё было просто, на стенде тоже всё было просто, а на реальном железе не взлетело :( Вообще, опыт сборки подобных штук из доступного (не по цене, а по доступности) железа - это очень ценно.
Сейчас на форуме
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
А подробней про свой кластер расскажете?
IdeaFix
Гость

Ссылка

falanger
У меня всё начиналось банально - для работы понадобилась дома ESXi лаба. Для того, чтобы эмулировать рабочие процессы, была в общем легально получена лицензия и в кластере появились две ноды для ha, потом появилась виртуальная дисковая полка. хотя все задачи решались на DAS, а потом в инициативно-приказном порядке была поставлена задача попробовать vSGA.

К тому времени это сменилось на это и старая машина на E5450/16GB стала хоть и частью ha кластера, но часто выводилась из работы. В итоге я воткнул в машину F40 варпдрайв и сначала гефорс, переделанный в квадро 2000, а потом и квадро 4000 и всё у меня было хорошо и замечательно... т.е. видеокарта "разделялась" между всеми виртуальными машинами, которым был дан vSGA доступ. Машины бодренько работали с CAD и всё такое.... но когда я попробовал собрать то же самое на SuperMicro H8SFL-F, то оказалось что если я хочу квадру, я должен отключить G200i, а за одним и ipkvm :) А потом оказалось, что даже после этого на куда более серьезной железке всё это дело всё равно не работает.... кажется что-то описано тут - http://forum.ixbt.com/topic.cgi?id=58:5060

В общем сейчас у меня в пъедистальном корпусе собрана такая машина:

Opteron 6272/H8SGL-F/128GB DDR3 1600 ECC RDIMM, 2*8TB RAID6 Adaptec 5805, intel S3500 cache, SUN F40 Cache, Quadro 4000 (vDGA. фактически не используется). Ну там упс, два аплинка, что-то еще... объём памяти и кэша позволяет работать со снапшотами очень быстро. Да и вообще машина много прикладных и бытовых задач решает.

ESXi 5.5, на работе выше не переходят, ну и я сижу на 5.5 - хватает.
Сейчас на форуме
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
Может тогда посоветуете плату вроде вашей но не менее 6 слотов PCI-E 16х?
Завтра я смогу уточнить требуется ли кластеру SLI и 16х слоты или можно обойти майнерскими райзерами 1х. Аналогично хватит ли GTX 580 3Gb или GTX 590 3Gb. Если можно обойтись минимумом... то тогда просто нужна будет плата на максимум слотов с хотя-бы парой под быстрый кэш на SSD шинных и оперативкой 128 или более гб.
IdeaFix
Гость

Ссылка

falanger
Тут всё зависит от бюджета и от необходимой производительности проца. Получить 8+8+8+8 можно достаточно бюджетно, получить 16+16+16+16+16+16 наверное просто не возможно. Столько PCI-E линий есть только у крайних топовых процов, а всякие P6T Суперкомьютер - это или PLX мосты или NF200. Ну а если повесть на PCI-E 4x мост в 16x, то мы не получим bandwidth 16x.

К сожалению, на вскидку я не подскажу решения с 6 длинными слотами, особенно не понимая требований к мощности CPU и памяти, но как вариант - у DELL есть "копеечные" платы под четыре сокета G34 (64 ядра ATHLON FX и 1TB памяти!) в формате 2U/4U.

У микро есть чуть проще и чуть стандартнее - SuperMicro AMD H8DGI-F. Два сокета и полтерабайта (бюджетно правда получится лишь 256GB=16*16GB) памяти - можно отказаться от L3 на SSD. Ну и PCI-E там опять же уже много... только вот всё же может 2 титана первых или три GTX760 4GB? Такие тоже бывают и стоят не дорого.
Сейчас на форуме
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
Я постараюсь уточнить сегодня-завтра требования к подсистеме видеокарт. Но память на плате жела тельно больше да.
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
IdeaFix написал:
[q]
DELL есть "копеечные" платы под четыре сокета G34 (64 ядра ATHLON FX и 1TB памяти!) в формате 2U/4U.
[/q]
Можно поподробней?

И вы упоминали что используете пару Квадро 4000 видеокарт как "кластеры под MPI" - можно подросбности? Какие требования в PCI-E слотам это выдвигает? 16х режим? 8х или вообще можно обойти 1х майнерскими райзерами через USB 3.0 кабель?
Просто нашел пару плат на 256-512 Гб оперативки с дуал-процами и PCI-E 16х. А вот на серверных 2U ими и не пахнет, И размен теребайта оперативки платы с 64 ядрами процов на кластеры карт - фиг знает равноценно ли...
IdeaFix
Гость

Ссылка

falanger
PowerEdge C6145 + шасси PowerEdge C410x PCIe.

Плата (только плата!) от первого стоит ну очень не дорого, а вообще, поискать у афинажников что-то подобное и купить недостающие остатки - в общем вариант.

Вообще, внешнее шасси под беспропеллерные мощные карты - это интересно, но поймать такое по цене металлолома - задача... ну, или удача.


Хотя поймать SuperMicro AMD H8DGI-F будет попроще.

У меня Quadro 4000 (да и k2000) стояли по одной. До этого были FX4800/FX6000, но это было давно, да и карты ну очень уж старые. Рискну предположить что всё работало в слотах не быстрее чем PCI-E 2.0 8x, но гонять огромные объёмы задачи не было. Задача была спроектирована так, что каждый день мне давали 15-20 GB исходных данных, я складывал их на NFS шару и через сутки забирал 4GB результата. Процесс был автоматизирован. Там была нужна тупая GPGPU мощность - форт. Это было на квадро фх, а сейчас скорее vSGA, а там 8x - за глаза.
Сейчас на форуме
<<Назад  Вперед>> Страницы: 1 2 3 4 * 5 6 7 8 9 10
Печать
Полигон-2 »   Технический флейм »   SLI-машина 3..4 х GT 580 3Gb.
RSS

0 посетителей просмотрели эту тему за последние 15 минут
В том числе: 0 гостей, 0 скрытых пользователей

Последние RSS
[Москва] LIQUID-Акция. Сливаются разъемы CF
МС7004 и 7004А на AT и XT
Пайка термотрубок
Проммать s478 PEAK 715VL2-HT ( Full-Size SBC)
Подскажите по 386 материке по джамперам.

Самые активные 5 тем RSS