Полигон-2

Бродят мысли собрать для запуска ТензорФлоу кластер видеокарт. После многих раздумий понял что собирать надо на Zotac GTX 580 AMP2 3Gb картах. Причем поскольку только два первых слоя решаемой задачи будут 1+10 гб - то поле памяти видеокарточного кластера должно быть не менее 10 гб, шейдерная производительность вторична. Тут уже в свою очередь встают бюджетные ограничения - на GTX 680 уже собирать не по карману.
Потому конфигурация вырисоввывается 4 х 580 3гб, чтобы получилось общее поле памяти карт в 12 гб. Соответственно поскольку будет 24/7 работа - на карты нужна водяная система охлаждения, причем надо еще решить какую схему выбрать, разбивать ли ее на сегменты карты-процессор отдельные, делить ли на сегменты охлаждение карт, дублировать ли помпы, ставить ли охлаждай на чипсет-память.
Плата соответственно должна поддерживать 4 SLI, причем слоты должны работать все в 16х-16х-16х-16х. А все что сейчас продается в магазинах новое либо только на 3 слота, либо вовсе слоты в 16-8-8 что для моего применения неприемлемо. Соответственно приходится искать старые платы на Х58 с дополнительными nForce 200 или подобными, 2009-2013 годов.
Пока я знаю только три варианта.
GIGABYTE GA-X58A-UD9 - около 20-22К рублей.
EVGA 170-BL-E762-A1 - даже и непонятно сколько, сейчас она в торте на еВау.
Связка ASUS Rampage 3 Extreme + расширитель на 4 SLI ROG_Xpander у которого на борту фазы питания свои и два чипа nForce 200, около 18К все вместе.
Если у кого есть какие мысли и советы - с удовольствием выслушаю.

Принял решение что материнка будет GIGABYTE GA-X58A-UD9. Она более-менее распространенная, под нее есть водоблоки на мосты-мосфеты. В Мск продают в магазине новые по 1500 р.

Видео - Zotac GTX 580 AMP2 3Gb 4 штуки, буду проверять стресс-тестом и если надо скальпировать-менять пасту. Два водоблока ЕК на них уже едут.

SSD будут шинные PCI-E на М.2 для SWAP системы, вероятно в RAID для скорости и долговечности, сами SSD - kingston HyperX.

Операционная система будет на SSD SATA Kingston 120-240 гб.

Резервирование системы - SSD HDD вероятно Хитачи или другой с большим ресурсом в 1-2 Тб.

Процессор - 1366 сокет, I7 900 серии или Xeon если его поймет система.

ОЗУ - 24 Гб.

Точнее?

falanger
Вот официальная портянка по первому титану.

Памяти 6GB, шина 384. Даже на Авито они порой проскакивают, а если смотреть на международных торговых площадках - выбор еще больше.

Так же хотел уточнить что как таковой QUAD SLI и вообще SLI Вам не нужен. Вам нужны (нужны ли?) лишь быстрые PCI-E слоты. Агрегации карт в SLI не будет.

По поводу плат - интересные платы были под AM3+ с 4-6 длинными PCI-E слотами. У меня когда-то давно была в чем-то похожая задача, формулировалась так, решена была так.

[UPD]
Да, я в общем солидарен с опередившим коллегой. Титан на GK***/GM*** (хоть первый, хоть блек хоть икс или их тандем) будет попроще и в приобретении и в обслуживании нежели тандем из четырех 580-х.

У 5 серии езе косяк - теплораспределительная крышка на гпу, они даже под водой хреново будут охлаждаться или скальпировать их все под феном и ставить универсальные водоблоки + обдув воздухом. Чтото вроде фермы надо будет собрать. А еще они жрут дофига, на такой квад надо обеспечить 2кв питалова

Питание обеспечу, два БП по 1,2 кВт связкой как у майнеров через реле-синхронизатор.
А скальпировать... вода будет ставится именно чтобы лучше охлаждение на штатных частотах и бесшумное, разгона не будет, будет то что накрутил Zotac штатно. Их краты тоже выбрал из-за качественных компонентов. Возможно даже попробую даунвольт карт, если будут стабильно работать на пониженном питании.
А собирать придется именно на плате, без выносов, потому что нужен межкарточный обмен и по мосту SLI и по 16х PCI-E. Как майнеры лепят через 1х на выносах нельзя, в отличии от майнинга в Тензоре огромный межкарточный обмен на всю ширину канала. Это же нейросеть...

https://docs.oracle.com/cd/E29748_01/index.html 400гб (нулёвка из четырех) варпдрайв заезженый но живой можно купить относительно не дорого. Только вот нужно помониторить и посравнивать с современными потребительскими SSD, не быстрее ли они окажутся

Люди, у меня з/п в моем Нижнем зажопинске - 12.000 р на руки. А многие и за 8.000 р наруки работают! Какие нахрен карточки по 38 тысяч???!

falanger написал:

[q]

Плата соответственно должна поддерживать 4 SLI, причем слоты должны работать все в 16х-16х-16х-16х

[/q]

стандарт PCI-E 3.0 имеет большую пропускную способность нежели PCI-E 2.0 , Для игр это ни как не отображается им пофиг хоть 1.0 , может вам это лучше и можно тогда пренебречь 16-16-16-16 а взять то что 16-8-8-8 современное. ибо брать 1366 сейчас за цену в 20 кусков , когда 2011 почти столько стоит новый.

alexmaj467 написал:

[q]

[/q]

PCI-E 3.0 тянет новые видеокарты и прочее, что не лезет в мой бюджет.

falanger
> 3. Подойдут ли водоблоки ЕК под референсыные 580-е после скальпирования?
Можно взять крышку одного из чипов и презать её ножовкой на 4 части. "Бортик" срезать, получившиеся 4 квадратика зашлифовать, обезжирить и нафигачить на вуда к основанию водоблока. А можно сняв крышку просто сменить термопасту под ней и вернуть на место, приклеив на герметик. Вариантов море.

falanger
Про видео с примерами "обновления" 560 уже сказали... там всё есть Клеят обычно на автомобильный герметик. А сплав вуда продаётся в радиотоварах. Стоит он не дорого, но требует некоторого навыка в работе. Вообще, если блок фрезерованный и с него можно скинуть верхнюю крышку и уплотнители, то напаять можно и на ПОС61 на электроплитке. А эксперименты с "легкоплавкими" сплавами классно проделывать немного в другом ключе. У меня был опыт пайки универсального водоблока прямо на крышку G80

people.overclockers.ru лежат пока... у меня там когда-то давным давно пост был про это в частности и фуллкаверы самодельные в целом.

falanger 228 лет это просто включенный с поданым питанием, а у ССД есть еще показатель количества циклов записи, он конечен и при больших объемах записи они довольно быстро придут к концу. Сомневаюсь, что диски проживут планируемые 7 лет, если только не сделать из них довольно большой RAID.

и РАЗВЕ PCI-e адаптерах используется интерфейс SATA?

radbek написал:

[q]

и РАЗВЕ PCI-e адаптерах используется интерфейс SATA?

[/q]

Надо вкурить точнее что у них за интерфейс, но судя по всему у М.2 - прямой с шины на память, я просто для себя обзор делал устройств хранения.
И по обзору ресурса SSD https://3dnews.ru/938764/page-3.html - в лидерах Kingston HyperX Savage 240 Гбайт. Я видел обзор машины под азотом рекорндной где такого типа в М2 стоял диск. Так что буду ориентироваться на них.

falanger написал:

[q]

После снятия крышки чипы не начнут дохнуть от доступа кислорода? Компания машины планируется в 7 лет минимум, это долго.

[/q]

Они и штатно не изолированы от воздуха, всегда есть зазор (по крайней мере на процессорах) для выравнивания давления.

Прикинул цену машины и в пору впасть в уныние.
4 карты - 20К.
Мать - 20К
Проц - 10К если максимум.
Память - 15К примерно если не больше.
Подсистема дисковая для свопа - 20К
БП 2 шт - 20К
Водянка - 20К минимум если качественная помпа дублированная и т.д.
Система хранения - загрузочный носитель, арзивный носитель - 15К если по минимуму.
Монитор - 5К.
И прочая фигня условно не показана.
135К за узкоспециализированную на работе по глубинному обучению нейросетей машину... с совсем не топовым железом.

falanger
А если смотреть на ОДНУ карту с 12GB памяти и мать под неё - то никакого уныния. И на водянке значительная экономия выйдет.

Silent Breeze
Всё-таки тредстартеру не нужен SLI. Ему нужен GPGPU и то не совсем. А что ему нужно - максимально быстрый доступ к видеопамяти. Гонять "память" по PCI-E + SLI bridge наверное можно, но не факт. ТС считает что можно и это будет плюс - поверим ему на слово.

Видеопамять не суммируется в 3D API из-за специфики рендера (текстуры хранятся во всех видеокартах) но здесь другая задача.

В любом случае двенадцатигиговый титан (одна карта!) с фуллкавером от еквб пару дней назад ушел менее чем за 40 на ибее... и имхо, еслли смотреть на одну более или менее современную карту, а не на тандем очень старых, получится и дешевле и удобнее и перспективнее... я тут уже поимел проблем с 9-й серией и CUDA6.5/DC5.2.... нвидия просто кинула обладателей 9-й серии

Silent Breeze

[q]

Если поставите 4 видяхи по 3 гига у вас так и будет 4 видяхи по 3 гига, а не 12 гигов видеопамяти...

[/q]

Я вот тоже об этом задумывался, но был уверен не на 100%, поэтому решил, что если товарищ так уверенно заявляет, то, наверное, я чего-то не знаю.

Если бы в SLI память сумировалась, то NVIDIA обламывалась бы с топовыми квадрами, которые для некоторых применений (рендеринг и т.п.) вполне можно было бы заменить Титанами по в 2-3 раза более демократичной цене

IdeaFix

Судя по всему, это решение все в одном по типу того, что нужно автору топика, но цена действительно безбожная и как я понял 2 Тб это не RAM видеокарты, а SSD NVMe на ней.

IdeaFix

Какой же ресурс тогда у L2 SSD получается? При тех скоростях, что теоретически достижимы, как бы не месяц-два жизни.

Вероятно буду собирать машину, но медленно-медленно...

А подробней про свой кластер расскажете?

Может тогда посоветуете плату вроде вашей но не менее 6 слотов PCI-E 16х?
Завтра я смогу уточнить требуется ли кластеру SLI и 16х слоты или можно обойти майнерскими райзерами 1х. Аналогично хватит ли GTX 580 3Gb или GTX 590 3Gb. Если можно обойтись минимумом... то тогда просто нужна будет плата на максимум слотов с хотя-бы парой под быстрый кэш на SSD шинных и оперативкой 128 или более гб.

Я постараюсь уточнить сегодня-завтра требования к подсистеме видеокарт. Но память на плате жела тельно больше да.

falanger
PowerEdge C6145 + шасси PowerEdge C410x PCIe.

Плата (только плата!) от первого стоит ну очень не дорого, а вообще, поискать у афинажников что-то подобное и купить недостающие остатки - в общем вариант.

Вообще, внешнее шасси под беспропеллерные мощные карты - это интересно, но поймать такое по цене металлолома - задача... ну, или удача.


Хотя поймать SuperMicro AMD H8DGI-F будет попроще.

У меня Quadro 4000 (да и k2000) стояли по одной. До этого были FX4800/FX6000, но это было давно, да и карты ну очень уж старые. Рискну предположить что всё работало в слотах не быстрее чем PCI-E 2.0 8x, но гонять огромные объёмы задачи не было. Задача была спроектирована так, что каждый день мне давали 15-20 GB исходных данных, я складывал их на NFS шару и через сутки забирал 4GB результата. Процесс был автоматизирован. Там была нужна тупая GPGPU мощность - форт. Это было на квадро фх, а сейчас скорее vSGA, а там 8x - за глаза.

А SLI точно нужно? Для манинга например SLI не нужен. А тут принцип скорее всего тот же.
Если нет, то есть майнерские материнки которые до 6 карт поддерживают, правда через райзеры. Обычные материнки как правило больше 3-4 карт не тянут.
У меня ферма стоит на 6хRX580 могу попробовать запустить тензор флоу для тестов, если объясните как.

Возможно что придется искать б\у Теслы М2090 и использовать их.

И вот еще кое-что по нейросетям выплыло https://habrahabr.ru/company/ashmanov_net/blog/346958/
Но это уже готовую обученную сеть использовать, обучать все равно на массиве GPU придется.

IdeaFix написал:

[q]

Представьте что есть некая задача, у которой 12GB данных на кэше первого уровня (видеопамять), 64 GB данных на кэше второго уровня (оперативная память), небольшие сотни гигабайт на кэше третьего уровня (SSD массив) и тёпленькое на дисковой полке...

[/q]

Примерно так оно и сформулировано, никак пока не удается отловить и уточнить подробности у того кто в ТензорФлоу зарылся глубже чем я с другом-программистом.

Сейчас я думаю отказаться от кеширования на SSD в пользу емкости оперативной памяти. Точнее ориентироваться на 128+. Плата то которая понравилась в максимуме может 2 Тб иметь, планками по 64 гига. Другой вопрос что в Рассее хотят за планки 32 гига 17,5-20К...

У той платы на которую облизываюсь DDR4 2133 reg ECC. Хотя продаван пишет что и с обычной бытовой без контроля четности работает.

IdeaFix да я это понял уже, просто на G34 платы с 512-1024 Гб или очень хитрые серверные или редкие.

У меня в свою очередь есть машина с двумя 1070, но там всего один процессор - i7-2600 и всего 8GB памяти. Дисковой подсистемы как таковой нет, видяшки подключены как 16+4 без сли бриджа. Основная задача - джон рипер Правда теперь выгоднее у амазона покупать под задачу на часик такую машину, чем держать свою.

Если будет загрузочный образ, который загрузится, проведет тест и сформирует репорт - я готов попробовать. Если операционную систему и операционную среду придётся делать мне самому - я пас. Лениво

Из-за финансовых соображений походу придется вот на таком остановится https://www.supermicro.com/Apl.../H8DGi.cfm

По мере уточнения задачи стало ясно что нужно на плате памяти 256 гб++. И наличие pci-e 16х для мощной графкарты или вовсе Теслы б/у, а лучше не одной.

Ознакомившись с вариантами даже появилась мысль собрать вариант машины "v 0.0.1" на базе ноутбука DELL precission M6400, 16 гигов памяти, 4 ядра Коре 2 Квад, Квадро м3700 с гигом памяти и 3 SATA диска можно установить причем в рейде 0 и 1 ЕМНИП. Есть поставить три одинаковых в режиме ускорения чтения, то получится канал дискового обмена 3х300 мб/с, почти шинная флешка что планировалась для кэша. А внешнюю "полку" городить либо в USB-боксах либо собрать NAS маленький на гигабитной сетке напрямую, есть у меня платка с Атомом, 2 гигами памяти и 2 SATA в компактном корпусе.
И пока программист будет тренироваться на кошке, можно будет уже не надрываясь собирать на Супермикре что-нибуть более толковое. Если он к затее к тому времени вовсе не охладеет.

IdeaFix написал:

[q]

А что мешает просто на базе пьедестальной машины собрать

[/q]

Мешает отсутствие лишних 150 тысяч.


IdeaFix написал:

[q]

Зачем этот цирк с ноутбуком?

[/q]

Чтобы заставить программиста шевелиться. Потренироваться на кошках он сможет и на ноутбуке. И только если будет результат будет смысл вкладывать цену машины подержаной не самой плохой в дорогое и специфическое железо, которое не продашь если что быстро.


IdeaFix написал:

[q]

Просто M3700 - это "шашечки"... это не "ехать".

[/q]

Это ехать... на самокате. И можно малой кровью поменять на М3800...

Все-таки постепенно что-то да двигается. Для начала минимального кое-что да выходит.
Ноутбук собирается на котором будет запускаться тестово ТензорФлоу, NAS для системы автоматического резервного копирования, пускай и самый минимальный... уже от чего-то можно отталкиваться.

Вот такие забавные платы можно купить в Китае и на еВау.
https://www.ebay.com/itm/Wiwyn...1296440423
А вот тут показано как эту штуку включить на столе.
https://www.youtube.com/watch?v=dBI3HC-op3I
Конечно 2 SATA это мало, но зато 2 порта гигабитных Езернета... и 2 шт 16х слота.
Т.е. или райзер ставить чтобы воткнуть более 2 карт/Тесл или работать с системой через сеть.
И можно действительно поставить быстрый нас с двумя гигабитками и запустить iscsi...

IdeaFix
Значит люто, яростно не рекомендуете?
А что посоветуете Микро на паре G34 во встроенным SAS и "почти АТХ"?

ЗЫ. Меня привлекла цена - 16200р с двумя процессорами, радиаторами, райзером и 16 гигами памяти без учета доставки. За такую цену только плату Супермикры в лучшем случае купишь. И единое питание 12В... в комбинации с SSD так и просится на что-нибуть подвижное с колесами/гулсями да манипуляторами... если доживет.

Еще в копилку - запуск 1U платы C8220 DELL. Это уж точно не Китай.
https://forum.level1techs.com/...ons/109554

IdeaFix

Принято, китайское железо вычеркиваю. Зато нашел 1U плату с двумя процессорами, 256 мах памяти и 4-мя SATA прямо на плате.
https://www.ebay.com/itm/Dell-...Sw2GlXIOHY
Dell PowerEdge c8220 - 083n0
Это же офигительно! Осталось накопить денег на нее.

Ее можно запустить только подав питание +12 и замкнув пару контактов, выше есть ссылка как американец запускал точно такую плату просто воткнув отвертку в разъем управления.
Насчет двух портов - можно поставить в каждый по 2 райзера и вместо двух портов 16х получить 4 порта 8х которых достаточно для работы 4-х GPU Tesla M2090 или подобных. Благо на этой плате есть встроенное видео.
И главное там есть прямо на плате 4 порта SATA. Обычно только 2 их. Т.е. можно без Бакплайна сделать RAID на 4 SSD, плюс два гигабитных порта - на внешнее хранилище объединив каналы, плюс 10/100 сетка для управления и медленных бекапов, плюс СОМ-порт для чего угодно.
Если получится найти документацию на плату с распиновкой разъемов - может там и еще какие полезные порты получится вытащить наружу и свистелки-перделки вроде лампочек активности дисков-сети-питания-диагностики...

falanger
IMPI dedicated lan не пригодна для "медленных бэкапов". Если это dell, то там на этом интерфейсе висит айдрак и больше ничего.

falanger
Это порт IMPI модуля. Т.е. это виртуальная консоль, не сеть.

falanger
Вы задаёте не верные вопросы, получаете не верные ответы и делаете не верные выводы. Профит.

Какие API поддерживает SLI? Правильно, по сути Direct3D и быть может OpenGL. Всё.

Вы будете использовать хоть один из этих API в TF? НЕТ!!!!

ВАМ СОВСЕМ НЕ НУЖЕН SLI, О ЧЕМ ВАМ НЕОДНОКРАТНО СКАЗАЛИ ПОЧТИ ВСЕ В ЭТОЙ ТЕМЕ.

Вопрос должен был звучать так:

Рустам, скажите, имеет ли хоть какой-то эффект SLI BRIDGE для GPGPU задач? Разгружается ли PCI-E за счет использования SLI BRIDGE на тандеме видеокарт, решающих GPGU задачи?

Тогда инженер спросит у Вас про задачу чуть подробнее, а Вы как попугай повторите "Тензорфлоу".... а это просто слово.

Вывод: Вопроса у Вас нет. Не верный ответ есть. Вы считаете что имеете посыл для дальнейших действий.

Наймите уже нормального системного архитектора... либо соберите whitebox по мануалу.

falanger
Хмм... мы в УРФУ пускаем на свой гпу кластер по договорённости. Думаю, наших мощностей хватило бы для решения задач, которые решаются за годы на 580-х картах, за несколько недель. Это не фигура речи.

В региональных отделениях наук тоже обычно нормально железа, если есть химия или фармакология.

falanger
1. У астрономов нет национальности.
2. У астрономов нет комплексов.

Просто оставлю это здесь:
https://pp.userapi.com/c617628...GyfXr4.jpg
https://pp.userapi.com/c314916...SmVwmY.jpg
https://pp.userapi.com/c624623...xW1WSM.jpg

У нас не только GPU кластер есть, но и... обсерватория. Возможно, самая северная из разумных. И есть она не для галочки и выигрывает гранты и блестяще их реализует.

Думаю, наш диалог в скором времени окончательно выйдет за рамки данного топика, может переместимся сначала в личку, а потом еще куда?

IdeaFix написал:

[q]

Просто оставлю это здесь:https://pp.userapi.com/c617628...GyfXr4.jpghttps://pp.userapi.com/c314916...SmVwmY.jpghttps://pp.userapi.com/c624623...xW1WSM.jpgУ нас не только GPU кластер есть, но и... обсерватория. Возможно, самая северная из разумных. И есть она не для галочки и выигрывает гранты и блестяще их реализует.

[/q]

Очень достойно!