Внимание! Это временный неофициальный архив старой версии форума Полигон Призраков, созданный сочувствующим форуму участником. Этот сайт просуществует лишь до тех пор, пока администрация Полигона не сдержит своё обещание и не откроет официальный архив по адресу old.sannata.org.

Полигон-2

Форум о старых компьютерах

Объявление форума

Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС.

Полигон-2 »   Технический флейм »   SLI-машина 3..4 х GT 580 3Gb.
RSS

SLI-машина 3..4 х GT 580 3Gb.

Обсуждение и сборка компа для ТензорФлоу с 4 или более картами в SLI.

<<Назад  Вперед>> Страницы: 1 2 3 4 5 * 6 7 8 9 10
Печать
 
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
IdeaFix написал:
[q]
DELL есть "копеечные" платы под четыре сокета G34 (64 ядра ATHLON FX и 1TB памяти!) в формате 2U/4U.
[/q]
Можно поподробней?

И вы упоминали что используете пару Квадро 4000 видеокарт как "кластеры под MPI" - можно подросбности? Какие требования в PCI-E слотам это выдвигает? 16х режим? 8х или вообще можно обойти 1х майнерскими райзерами через USB 3.0 кабель?
Просто нашел пару плат на 256-512 Гб оперативки с дуал-процами и PCI-E 16х. А вот на серверных 2U ими и не пахнет, И размен теребайта оперативки платы с 64 ядрами процов на кластеры карт - фиг знает равноценно ли...
IdeaFix
Гость

Ссылка

falanger
PowerEdge C6145 + шасси PowerEdge C410x PCIe.

Плата (только плата!) от первого стоит ну очень не дорого, а вообще, поискать у афинажников что-то подобное и купить недостающие остатки - в общем вариант.

Вообще, внешнее шасси под беспропеллерные мощные карты - это интересно, но поймать такое по цене металлолома - задача... ну, или удача.


Хотя поймать SuperMicro AMD H8DGI-F будет попроще.

У меня Quadro 4000 (да и k2000) стояли по одной. До этого были FX4800/FX6000, но это было давно, да и карты ну очень уж старые. Рискну предположить что всё работало в слотах не быстрее чем PCI-E 2.0 8x, но гонять огромные объёмы задачи не было. Задача была спроектирована так, что каждый день мне давали 15-20 GB исходных данных, я складывал их на NFS шару и через сутки забирал 4GB результата. Процесс был автоматизирован. Там была нужна тупая GPGPU мощность - форт. Это было на квадро фх, а сейчас скорее vSGA, а там 8x - за глаза.
Сейчас на форуме
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
Вроде как самое подходящее Supermicro X10DRI + Xeon E5 2680 V3 + 2х32 Гб для начала. Слоты 3.0 16х, формат ЕА-АТХ... всякие бэксплайны не нужны и хитрые райзеры.
BreakPoint
Гость

Ссылка

А SLI точно нужно? Для манинга например SLI не нужен. А тут принцип скорее всего тот же.
Если нет, то есть майнерские материнки которые до 6 карт поддерживают, правда через райзеры. Обычные материнки как правило больше 3-4 карт не тянут.
У меня ферма стоит на 6хRX580 могу попробовать запустить тензор флоу для тестов, если объясните как.
Сейчас на форуме
radbek
Full Member


Всего сообщений: 231
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
12 окт. 2013
BreakPoint

SLI скорее всего предназначался для увеличения пропускной способности при доступе памяти и объединения видеопамяти в общий массив (которого не происходит), так, что вполне верятно, что в таких системах SLI не нужен, а нужен другой подход к построению вычислителя.
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
Возможно что придется искать б\у Теслы М2090 и использовать их.

И вот еще кое-что по нейросетям выплыло https://habrahabr.ru/company/ashmanov_net/blog/346958/
Но это уже готовую обученную сеть использовать, обучать все равно на массиве GPU придется.
IdeaFix
Гость

Ссылка

radbek
Объединения памяти не происходит в D3D/OGL, а не в SLI как таковом. Мы же не знаем какую программную обвязку использует ТС и не знаем какой там уровень абстракции от железа. А ну как там что-то простое на высокоуровневом языке, а параллелит задачу уже какая-то вм. И мы не знаем, может ли всё это использовать сли бридж для того, чтобы разгрузить пци-е.

Только вот мне в любом случае, такая архитектура программы, при которой вычислитель находится по одну сторону pci-e, а память по другую, кажется бредовой. Особенно, если это L1 память. Жаль только что бредовые задачи - не редкость. Например: "Мы знаем forth, у нас есть кривая реализация нашей идеи на нём и кривой враппер mpi. Мы где-то слышали что посредством еще одного враппера это запустится под CUDA. Делай!"

При этом, если всё сделать нормально, задача выполнится за месяц, а не за год.... но, что есть - то есть.

BreakPoint
Представьте что есть некая задача, у которой 12GB данных на кэше первого уровня (видеопамять), 64 GB данных на кэше второго уровня (оперативная память), небольшие сотни гигабайт на кэше третьего уровня (SSD массив) и тёпленькое на дисковой полке... :) По всему получается что ПСП очень важна, но, не зная ТЗ мы можем только гадать...
Сейчас на форуме
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
IdeaFix написал:
[q]
Представьте что есть некая задача, у которой 12GB данных на кэше первого уровня (видеопамять), 64 GB данных на кэше второго уровня (оперативная память), небольшие сотни гигабайт на кэше третьего уровня (SSD массив) и тёпленькое на дисковой полке... :)
[/q]
Примерно так оно и сформулировано, никак пока не удается отловить и уточнить подробности у того кто в ТензорФлоу зарылся глубже чем я с другом-программистом.
IdeaFix
Гость

Ссылка

falanger
Буквально сегодня прошла новость об аналоге Optane от AMD, но если Интел обещал кэширование только на 7-м поколении core, то у АМД заявляется на 3хх серии чипсетов "связка" память+ssd+hdd в качестве одной системы хранения. В свете NVME RAID идея не выглядит столь уж сложной логически, но.... помните сколько времени понадобилось чтобы довести программный raid5 в ich до ума?:) Столько, что его потом просто выпилили... :)

https://www.ixbt.com/news/2018...d-hdd.html

С другой стороны будет смешно, если это просто переименованный (аналог) primocache...

Кстати, примокэш может так - https://pp.userapi.com/c840228...GBGcyE.jpg

Размер теста - 4GB :)
Сейчас на форуме
falanger
Advanced Member


Откуда: г Черняховск Калининградскjй обл
Всего сообщений: 1505
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
30 апр. 2008
Сейчас я думаю отказаться от кеширования на SSD в пользу емкости оперативной памяти. Точнее ориентироваться на 128+. Плата то которая понравилась в максимуме может 2 Тб иметь, планками по 64 гига. Другой вопрос что в Рассее хотят за планки 32 гига 17,5-20К...
<<Назад  Вперед>> Страницы: 1 2 3 4 5 * 6 7 8 9 10
Печать
Полигон-2 »   Технический флейм »   SLI-машина 3..4 х GT 580 3Gb.
RSS

1 посетитель просмотрел эту тему за последние 15 минут
В том числе: 1 гость, 0 скрытых пользователей

Последние RSS
[Москва] LIQUID-Акция. Сливаются разъемы CF
МС7004 и 7004А на AT и XT
Пайка термотрубок
Проммать s478 PEAK 715VL2-HT ( Full-Size SBC)
Подскажите по 386 материке по джамперам.

Самые активные 5 тем RSS