| Объявление форума |
Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС. |
Полигон-2 » Технический флейм » SLI-машина 3..4 х GT 580 3Gb. |
 |
SLI-машина 3..4 х GT 580 3Gb.
Обсуждение и сборка компа для ТензорФлоу с 4 или более картами в SLI.
| <<Назад Вперед>> | Страницы: 1 2 3 4 5 * 6 7 8 9 10 | Печать |
| falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 17 января 2018 15:58 Сообщение отредактировано: 17 января 2018 19:47
IdeaFix написал: DELL есть "копеечные" платы под четыре сокета G34 (64 ядра ATHLON FX и 1TB памяти!) в формате 2U/4U.Можно поподробней? И вы упоминали что используете пару Квадро 4000 видеокарт как "кластеры под MPI" - можно подросбности? Какие требования в PCI-E слотам это выдвигает? 16х режим? 8х или вообще можно обойти 1х майнерскими райзерами через USB 3.0 кабель? Просто нашел пару плат на 256-512 Гб оперативки с дуал-процами и PCI-E 16х. А вот на серверных 2U ими и не пахнет, И размен теребайта оперативки платы с 64 ядрами процов на кластеры карт - фиг знает равноценно ли... |
| IdeaFix |
NEW! Сообщение отправлено: 17 января 2018 22:57 Сообщение отредактировано: 17 января 2018 23:02
falanger PowerEdge C6145 + шасси PowerEdge C410x PCIe. Плата (только плата!) от первого стоит ну очень не дорого, а вообще, поискать у афинажников что-то подобное и купить недостающие остатки - в общем вариант. Вообще, внешнее шасси под беспропеллерные мощные карты - это интересно, но поймать такое по цене металлолома - задача... ну, или удача. Хотя поймать SuperMicro AMD H8DGI-F будет попроще. У меня Quadro 4000 (да и k2000) стояли по одной. До этого были FX4800/FX6000, но это было давно, да и карты ну очень уж старые. Рискну предположить что всё работало в слотах не быстрее чем PCI-E 2.0 8x, но гонять огромные объёмы задачи не было. Задача была спроектирована так, что каждый день мне давали 15-20 GB исходных данных, я складывал их на NFS шару и через сутки забирал 4GB результата. Процесс был автоматизирован. Там была нужна тупая GPGPU мощность - форт. Это было на квадро фх, а сейчас скорее vSGA, а там 8x - за глаза. |
| Сейчас на форуме |
| falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Вроде как самое подходящее Supermicro X10DRI + Xeon E5 2680 V3 + 2х32 Гб для начала. Слоты 3.0 16х, формат ЕА-АТХ... всякие бэксплайны не нужны и хитрые райзеры. |
| BreakPoint |
NEW! Сообщение отправлено: 18 января 2018 19:21 Сообщение отредактировано: 18 января 2018 19:22
А SLI точно нужно? Для манинга например SLI не нужен. А тут принцип скорее всего тот же. Если нет, то есть майнерские материнки которые до 6 карт поддерживают, правда через райзеры. Обычные материнки как правило больше 3-4 карт не тянут. У меня ферма стоит на 6хRX580 могу попробовать запустить тензор флоу для тестов, если объясните как. |
| Сейчас на форуме |
| radbek
Full Member
Всего сообщений: 231 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 окт. 2013 |
BreakPoint SLI скорее всего предназначался для увеличения пропускной способности при доступе памяти и объединения видеопамяти в общий массив (которого не происходит), так, что вполне верятно, что в таких системах SLI не нужен, а нужен другой подход к построению вычислителя. |
| falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Возможно что придется искать б\у Теслы М2090 и использовать их. И вот еще кое-что по нейросетям выплыло https://habrahabr.ru/company/ashmanov_net/blog/346958/ Но это уже готовую обученную сеть использовать, обучать все равно на массиве GPU придется. |
| IdeaFix |
NEW! Сообщение отправлено: 19 января 2018 8:53 Сообщение отредактировано: 19 января 2018 9:05
radbek Объединения памяти не происходит в D3D/OGL, а не в SLI как таковом. Мы же не знаем какую программную обвязку использует ТС и не знаем какой там уровень абстракции от железа. А ну как там что-то простое на высокоуровневом языке, а параллелит задачу уже какая-то вм. И мы не знаем, может ли всё это использовать сли бридж для того, чтобы разгрузить пци-е. Только вот мне в любом случае, такая архитектура программы, при которой вычислитель находится по одну сторону pci-e, а память по другую, кажется бредовой. Особенно, если это L1 память. Жаль только что бредовые задачи - не редкость. Например: "Мы знаем forth, у нас есть кривая реализация нашей идеи на нём и кривой враппер mpi. Мы где-то слышали что посредством еще одного враппера это запустится под CUDA. Делай!" При этом, если всё сделать нормально, задача выполнится за месяц, а не за год.... но, что есть - то есть. BreakPoint Представьте что есть некая задача, у которой 12GB данных на кэше первого уровня (видеопамять), 64 GB данных на кэше второго уровня (оперативная память), небольшие сотни гигабайт на кэше третьего уровня (SSD массив) и тёпленькое на дисковой полке...  По всему получается что ПСП очень важна, но, не зная ТЗ мы можем только гадать... |
| Сейчас на форуме |
| falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
IdeaFix написал: Представьте что есть некая задача, у которой 12GB данных на кэше первого уровня (видеопамять), 64 GB данных на кэше второго уровня (оперативная память), небольшие сотни гигабайт на кэше третьего уровня (SSD массив) и тёпленькое на дисковой полке...Примерно так оно и сформулировано, никак пока не удается отловить и уточнить подробности у того кто в ТензорФлоу зарылся глубже чем я с другом-программистом. |
| IdeaFix |
NEW! Сообщение отправлено: 20 января 2018 0:10 Сообщение отредактировано: 20 января 2018 0:13
falanger Буквально сегодня прошла новость об аналоге Optane от AMD, но если Интел обещал кэширование только на 7-м поколении core, то у АМД заявляется на 3хх серии чипсетов "связка" память+ssd+hdd в качестве одной системы хранения. В свете NVME RAID идея не выглядит столь уж сложной логически, но.... помните сколько времени понадобилось чтобы довести программный raid5 в ich до ума? Столько, что его потом просто выпилили... https://www.ixbt.com/news/2018...d-hdd.html С другой стороны будет смешно, если это просто переименованный (аналог) primocache... Кстати, примокэш может так - https://pp.userapi.com/c840228...GBGcyE.jpg Размер теста - 4GB |
| Сейчас на форуме |
| falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Сейчас я думаю отказаться от кеширования на SSD в пользу емкости оперативной памяти. Точнее ориентироваться на 128+. Плата то которая понравилась в максимуме может 2 Тб иметь, планками по 64 гига. Другой вопрос что в Рассее хотят за планки 32 гига 17,5-20К... |
| <<Назад Вперед>> | Страницы: 1 2 3 4 5 * 6 7 8 9 10 | Печать |
Полигон-2 » Технический флейм » SLI-машина 3..4 х GT 580 3Gb. |
|
| 0 посетителей просмотрели эту тему за последние 15 минут |
| В том числе: 0 гостей, 0 скрытых пользователей |
| Последние |
|
| [Москва] LIQUID-Акция. Сливаются разъемы CF МС7004 и 7004А на AT и XT Пайка термотрубок Проммать s478 PEAK 715VL2-HT ( Full-Size SBC) Подскажите по 386 материке по джамперам. | |
| Самые активные 5 тем |
|