Объявление форума |
Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС. |
Полигон-2 » Технический флейм » SLI-машина 3..4 х GT 580 3Gb. |
<<Назад Вперед>> | Страницы: 1 2 3 4 5 6 7 8 9 10 | Печать |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 12 января 2018 18:17 Сообщение отредактировано: 13 января 2018 21:21
Бродят мысли собрать для запуска ТензорФлоу кластер видеокарт. После многих раздумий понял что собирать надо на Zotac GTX 580 AMP2 3Gb картах. Причем поскольку только два первых слоя решаемой задачи будут 1+10 гб - то поле памяти видеокарточного кластера должно быть не менее 10 гб, шейдерная производительность вторична. Тут уже в свою очередь встают бюджетные ограничения - на GTX 680 уже собирать не по карману. Потому конфигурация вырисоввывается 4 х 580 3гб, чтобы получилось общее поле памяти карт в 12 гб. Соответственно поскольку будет 24/7 работа - на карты нужна водяная система охлаждения, причем надо еще решить какую схему выбрать, разбивать ли ее на сегменты карты-процессор отдельные, делить ли на сегменты охлаждение карт, дублировать ли помпы, ставить ли охлаждай на чипсет-память. Плата соответственно должна поддерживать 4 SLI, причем слоты должны работать все в 16х-16х-16х-16х. А все что сейчас продается в магазинах новое либо только на 3 слота, либо вовсе слоты в 16-8-8 что для моего применения неприемлемо. Соответственно приходится искать старые платы на Х58 с дополнительными nForce 200 или подобными, 2009-2013 годов. Пока я знаю только три варианта. GIGABYTE GA-X58A-UD9 - около 20-22К рублей. EVGA 170-BL-E762-A1 - даже и непонятно сколько, сейчас она в торте на еВау. Связка ASUS Rampage 3 Extreme + расширитель на 4 SLI ROG_Xpander у которого на борту фазы питания свои и два чипа nForce 200, около 18К все вместе. Если у кого есть какие мысли и советы - с удовольствием выслушаю. Принял решение что материнка будет GIGABYTE GA-X58A-UD9. Она более-менее распространенная, под нее есть водоблоки на мосты-мосфеты. В Мск продают в магазине новые по 1500 р. Видео - Zotac GTX 580 AMP2 3Gb 4 штуки, буду проверять стресс-тестом и если надо скальпировать-менять пасту. Два водоблока ЕК на них уже едут. SSD будут шинные PCI-E на М.2 для SWAP системы, вероятно в RAID для скорости и долговечности, сами SSD - kingston HyperX. Операционная система будет на SSD SATA Kingston 120-240 гб. Резервирование системы - SSD HDD вероятно Хитачи или другой с большим ресурсом в 1-2 Тб. Процессор - 1366 сокет, I7 900 серии или Xeon если его поймет система. ОЗУ - 24 Гб. |
IdeaFix |
NEW! Сообщение отправлено: 12 января 2018 18:57
А может два первых титана? Они сейчас относительно доступны. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Точнее? |
Ar2r4eg
Advanced Member
Откуда: Москва Всего сообщений: 429 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 сен. 2016 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 12 января 2018 19:11 Сообщение отредактировано: 12 января 2018 19:13
Один бу титан х на максвеле будет быстрее двух первых титанов и четырех 580х. Стоит на второичке 25-30 тыщ На борту стоит 12 гиг ддр5 |
IdeaFix |
NEW! Сообщение отправлено: 12 января 2018 19:19 Сообщение отредактировано: 12 января 2018 19:21
falanger Вот официальная портянка по первому титану. Памяти 6GB, шина 384. Даже на Авито они порой проскакивают, а если смотреть на международных торговых площадках - выбор еще больше. Так же хотел уточнить что как таковой QUAD SLI и вообще SLI Вам не нужен. Вам нужны (нужны ли?) лишь быстрые PCI-E слоты. Агрегации карт в SLI не будет. По поводу плат - интересные платы были под AM3+ с 4-6 длинными PCI-E слотами. У меня когда-то давно была в чем-то похожая задача, формулировалась так, решена была так. [UPD] Да, я в общем солидарен с опередившим коллегой. Титан на GK***/GM*** (хоть первый, хоть блек хоть икс или их тандем) будет попроще и в приобретении и в обслуживании нежели тандем из четырех 580-х. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Мне нужно именно SLI и поле памяти в 12 гигов общее для 1-2 слоя нейросети, третий слой будет свопится в память платы, остальное что не влезет в 24 гига - на SSD. Отдельные карточки даже о 6 гигов без общей памяти ничем не лучше будут чем 580 1,5 гига. Кроме того стоит вопрос цены, 2х30К титаны + 45К за плату-проц-память-ссд меня разорят. |
Ar2r4eg
Advanced Member
Откуда: Москва Всего сообщений: 429 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 сен. 2016 |
У 5 серии езе косяк - теплораспределительная крышка на гпу, они даже под водой хреново будут охлаждаться или скальпировать их все под феном и ставить универсальные водоблоки + обдув воздухом. Чтото вроде фермы надо будет собрать. А еще они жрут дофига, на такой квад надо обеспечить 2кв питалова |
IdeaFix |
NEW! Сообщение отправлено: 12 января 2018 20:04
falanger Ну, получить SLI на паре Titan (не X) куда проще чем на четырех 580. Буквально вчера на местной (в моём регионе, не тут) барахолке пробегал Titan за 15 тысяч. А про SLI я слегка не понял... |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Питание обеспечу, два БП по 1,2 кВт связкой как у майнеров через реле-синхронизатор. А скальпировать... вода будет ставится именно чтобы лучше охлаждение на штатных частотах и бесшумное, разгона не будет, будет то что накрутил Zotac штатно. Их краты тоже выбрал из-за качественных компонентов. Возможно даже попробую даунвольт карт, если будут стабильно работать на пониженном питании. А собирать придется именно на плате, без выносов, потому что нужен межкарточный обмен и по мосту SLI и по 16х PCI-E. Как майнеры лепят через 1х на выносах нельзя, в отличии от майнинга в Тензоре огромный межкарточный обмен на всю ширину канала. Это же нейросеть... |
IdeaFix |
NEW! Сообщение отправлено: 12 января 2018 20:29 Сообщение отредактировано: 12 января 2018 20:31
falanger По поводу крышек, у 5-й серии проблема с крышками независимо от производителя. Термопаста высохла у всех. Поэтому 560 в состоянии покоя может улетать за соточку Кстати, в качестве альтернативы - https://pp.userapi.com/c841025...VGvnM8.jpg Одна карта с 12GB памяти и материнская плата со 128GB памяти, ну а дальше, на L3 уже хоть трава не расти, хотя можно SSD RAID собрать Хмм... а L3 - warpdrive. Красивая система получается. В общем-то у меня всё железо такое в наличии, жаль не смогу проверить, т.к. гипервизор из работы не вывести, но всё железо получается достаточно бюджетное и достаточно производительное. |
Сейчас на форуме |
IdeaFix |
NEW! Сообщение отправлено: 12 января 2018 20:35
https://docs.oracle.com/cd/E29748_01/index.html 400гб (нулёвка из четырех) варпдрайв заезженый но живой можно купить относительно не дорого. Только вот нужно помониторить и посравнивать с современными потребительскими SSD, не быстрее ли они окажутся |
Сейчас на форуме |
IdeaFix |
NEW! Сообщение отправлено: 12 января 2018 21:10 Сообщение отредактировано: 12 января 2018 21:12
12GB на одной карте + вода - https://www.ebay.com/itm/Nvidi...SwxzdaMb~r https://www.ebay.com/itm/2x-GT...0005.m1851 а тут можно поторговаться... |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Люди, у меня з/п в моем Нижнем зажопинске - 12.000 р на руки. А многие и за 8.000 р наруки работают! Какие нахрен карточки по 38 тысяч???! |
Max1024
Advanced Member
Ретроклокер Откуда: Беларусь, Могилев Всего сообщений: 755 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 29 дек. 2014 |
falanger написал: Некоторые мысли можешь найти Если у кого есть какие мысли и советы - с удовольствием выслушаю.тут. Но сразу скажу, на 1366 ставить только 6-ти ядерный цпу раскочегаренный минимум до 4.5 Ггц, но в этом сложности особой нет, сложности будут с охлаждением, поэтому в бутерброд ставить только турбинные версии, в идеале EVGA GeForce GTX 580 Classified Ultra либо просто Класифайд. Сам пробовал, если какие вопросы спрашивай. |
alexmaj467
Advanced Member
Откуда: Ялта Всего сообщений: 1084 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 2 апр. 2016 |
falanger написал: стандарт PCI-E 3.0 имеет большую пропускную способность нежели PCI-E 2.0 , Для игр это ни как не отображается им пофиг хоть 1.0 , может вам это лучше и можно тогда пренебречь 16-16-16-16 а взять то что 16-8-8-8 современное. ибо брать 1366 сейчас за цену в 20 кусков , когда 2011 почти столько стоит новый. Плата соответственно должна поддерживать 4 SLI, причем слоты должны работать все в 16х-16х-16х-16х |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Ar2r4eg написал: Вопросы практического плана. У 5 серии езе косяк - теплораспределительная крышка на гпу, они даже под водой хреново будут охлаждаться или скальпировать их все под феном и ставить универсальные водоблоки + обдув воздухом. 1. Насколько трудно скальпировать и насколько велик риск повредить карту? 2. После снятия крышки чипы не начнут дохнуть от доступа кислорода? Компания машины планируется в 7 лет минимум, это долго. 3. Подойдут ли водоблоки ЕК под референсыные 580-е после скальпирования? В обычном режиме на водоблоки надо лепить терморезинки 1 и 1.5 мм чтобы доставали до мосфетов и памяти. При снятой крышке может одной тонкой 0,25 резинкой на всех обойдется? Ar2r4eg написал: Да, будет каркас наподобии майнерского рига, "открытый все ветрам". Чтото вроде фермы надо будет собрать Ar2r4eg написал: 2 кВт питания будет, два блока по 1.5 кВт в спарке. Может на картах попробовать даунвольт для снижения TDP и потребления? А то у них 244 Вт заявлено только на чип, а по некоторым обзорам до 390 Вт жрать могут под нагрузкой. А еще они жрут дофига, на такой квад надо обеспечить 2кв питалова |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
alexmaj467 написал: PCI-E 3.0 тянет новые видеокарты и прочее, что не лезет в мой бюджет. |
Ar2r4eg
Advanced Member
Откуда: Москва Всего сообщений: 429 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 сен. 2016 |
falanger написал: При наличии прямых рук совершенно не сложно. Нагреть крышку до 100 градусов феном, потом отдирать угол канцелярским ножом. Главное не повредить дорожки на плате. На ютубе полно видео на примере всяких 560х. 1. Насколько трудно скальпировать и насколько велик риск повредить карту? falanger написал: Ничего не произойдёт 2. После снятия крышки чипы не начнут дохнуть от доступа кислорода? Компания машины планируется в 7 лет минимум, это долго. falanger написал: Без крышки зазор до кристала от штатного охлажения будет 3 мм. Ничего не поможет. Только универсальный водоблок + штатная пластина теплораспределителя + обдув 3. Подойдут ли водоблоки ЕК под референсыные 580-е после скальпирования? В обычном режиме на водоблоки надо лепить терморезинки 1 и 1.5 мм чтобы доставали до мосфетов и памяти. При снятой крышке может одной тонкой 0,25 резинкой на всех обойдется? |
IdeaFix |
NEW! Сообщение отправлено: 13 января 2018 0:30
falanger > 3. Подойдут ли водоблоки ЕК под референсыные 580-е после скальпирования? Можно взять крышку одного из чипов и презать её ножовкой на 4 части. "Бортик" срезать, получившиеся 4 квадратика зашлифовать, обезжирить и нафигачить на вуда к основанию водоблока. А можно сняв крышку просто сменить термопасту под ней и вернуть на место, приклеив на герметик. Вариантов море. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 13 января 2018 0:33 Сообщение отредактировано: 13 января 2018 0:37
Имеете виду наклеить на радиатор пиленую крышку на сплав Вуда? Где бы его еще взять... У нас в городе нету. И собственно если клеить назад то чем? Обычным строительным герметиком что-ли? |
IdeaFix |
NEW! Сообщение отправлено: 13 января 2018 0:47
falanger Про видео с примерами "обновления" 560 уже сказали... там всё есть Клеят обычно на автомобильный герметик. А сплав вуда продаётся в радиотоварах. Стоит он не дорого, но требует некоторого навыка в работе. Вообще, если блок фрезерованный и с него можно скинуть верхнюю крышку и уплотнители, то напаять можно и на ПОС61 на электроплитке. А эксперименты с "легкоплавкими" сплавами классно проделывать немного в другом ключе. У меня был опыт пайки универсального водоблока прямо на крышку G80 people.overclockers.ru лежат пока... у меня там когда-то давным давно пост был про это в частности и фуллкаверы самодельные в целом. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 13 января 2018 16:28 Сообщение отредактировано: 13 января 2018 17:21
Завел такую актуальную в хозяйстве в перспективе "Монстра" вещь как PCI POST карта. И собственно в сервисе где ее взял за 400 р потрындел в тамошним чистильщиком ноутов от пыли. По его словам SATA I - 150 мб/с обмен, SATA II - 300 мб/с. Учитывая что у монстрика будет просто чудовищный своп как бы не больше 100 гигов на нижние уровни нейросети - не придется ли ставить "шинные" SSD какие-то или когда-то виденный шинный SSD на планках оперативки? Раскопки дали FLASH DIMM - который не продают. I-RAM который на 4 гига всего, ДДР1 и тормоз на САТА-1. ACARD ANS-9010 - уже на сата-2 и ДДР2 до 48 гигов 400 мб/с анонсирована скорость обмена. Переходники PCI-E - M.2 SSD но надо выбирать SATA 2/3 интерфейсы. Профессиональные модели на 2-4 устройства стоят 20-50 тысяч. Apacer AvataRAM - ДДР3 ЕСС ноутбучная и сата3, емкость 32-64 гб. Зато М.2 накопитель Apacer Z280 в тестах на адартере на PCI-E 3.0 x4 - Семейство Apacer Z280 включает три модели — вместимостью 120, 240 и 480 Гбайт. У младшей скорость последовательного чтения информации достигает 2300 Мбайт/с, скорость записи — 1450 Мбайт/с. У двух других эти показатели составляют до 2750 Мбайт/с и 1500 Мбайт/с. Ресурс заявлен 2 миллиона часов, что 228 лет. И цена за 240 гиг модель около 12 тысяч. |
radbek
Full Member
Всего сообщений: 231 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 окт. 2013 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 13 января 2018 17:29 Сообщение отредактировано: 13 января 2018 18:13
falanger 228 лет это просто включенный с поданым питанием, а у ССД есть еще показатель количества циклов записи, он конечен и при больших объемах записи они довольно быстро придут к концу. Сомневаюсь, что диски проживут планируемые 7 лет, если только не сделать из них довольно большой RAID. и РАЗВЕ PCI-e адаптерах используется интерфейс SATA? |
Rio444
Гость
Откуда: Ростов-на-Дону Всего сообщений: 8632 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 14 сен. 2014 |
falanger написал: Это открытая информация. Есть, в том числе, в википедии. Sata 3 - до 600 Мб/с. По его словам SATA I - 150 мб/с обмен, SATA II - 300 мб/с. |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
radbek написал: Надо вкурить точнее что у них за интерфейс, но судя по всему у М.2 - прямой с шины на память, я просто для себя обзор делал устройств хранения. и РАЗВЕ PCI-e адаптерах используется интерфейс SATA? И по обзору ресурса SSD https://3dnews.ru/938764/page-3.html - в лидерах Kingston HyperX Savage 240 Гбайт. Я видел обзор машины под азотом рекорндной где такого типа в М2 стоял диск. Так что буду ориентироваться на них. |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 13 января 2018 23:25 Сообщение отредактировано: 13 января 2018 23:41
Ну и немного раскопок дало что... по некоторым данным на Х58 чипсете загрузочнным контроллером РCI-E - M.2 PCI может работать Asus M.2 PCI-E и сам диск Samsung 950 Pro у которого есть загрузчик в прошивке. Скорость до 1700 Мбит / с. Сведения есть там-же что биос на Х58 плате опознавал Plextor M8Pe AIC 512GB NVMe PCI-Express - но был конфликт с САТА-диском. И собственно старый добрый HyperX Predator М.2 PCIe SSD |
wrenchrox
Advanced Member
Inhale Откуда: Москва Всего сообщений: 1888 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 11 нояб. 2009 |
falanger написал: Они и штатно не изолированы от воздуха, всегда есть зазор (по крайней мере на процессорах) для выравнивания давления. После снятия крышки чипы не начнут дохнуть от доступа кислорода? Компания машины планируется в 7 лет минимум, это долго. |
Escalibur
Advanced Member
Откуда: Москва Всего сообщений: 945 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 окт. 2017 |
falanger, да, I-RAM только Sata1, есть такой у меня, скорость порядка 138мб/с, т.е. близко к пределу. |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Прикинул цену машины и в пору впасть в уныние. 4 карты - 20К. Мать - 20К Проц - 10К если максимум. Память - 15К примерно если не больше. Подсистема дисковая для свопа - 20К БП 2 шт - 20К Водянка - 20К минимум если качественная помпа дублированная и т.д. Система хранения - загрузочный носитель, арзивный носитель - 15К если по минимуму. Монитор - 5К. И прочая фигня условно не показана. 135К за узкоспециализированную на работе по глубинному обучению нейросетей машину... с совсем не топовым железом. |
ALS
Member
Откуда: Севастополь Всего сообщений: 236 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 19 сен. 2016 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 14 января 2018 2:33 Сообщение отредактировано: 14 января 2018 2:34
Don't Worry Be Happy https://pikabu.ru/story/neuzheli_5631184 |
IdeaFix |
NEW! Сообщение отправлено: 14 января 2018 9:52
falanger А если смотреть на ОДНУ карту с 12GB памяти и мать под неё - то никакого уныния. И на водянке значительная экономия выйдет. |
Сейчас на форуме |
Silent Breeze
Advanced Member
Начинающий коллекционер Откуда: Россия, Пермь Всего сообщений: 1715 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 сен. 2011 |
Ar2r4eg написал: Честного блока на 1200-1250W вполне хватит. такой квад надо обеспечить 2кв питалова А так никто и не сказал, что в режиме SLI видеопамять не суммируется. Если поставите 4 видяхи по 3 гига у вас так и будет 4 видяхи по 3 гига, а не 12 гигов видеопамяти... |
IdeaFix |
NEW! Сообщение отправлено: 14 января 2018 10:39
Silent Breeze Всё-таки тредстартеру не нужен SLI. Ему нужен GPGPU и то не совсем. А что ему нужно - максимально быстрый доступ к видеопамяти. Гонять "память" по PCI-E + SLI bridge наверное можно, но не факт. ТС считает что можно и это будет плюс - поверим ему на слово. Видеопамять не суммируется в 3D API из-за специфики рендера (текстуры хранятся во всех видеокартах) но здесь другая задача. В любом случае двенадцатигиговый титан (одна карта!) с фуллкавером от еквб пару дней назад ушел менее чем за 40 на ибее... и имхо, еслли смотреть на одну более или менее современную карту, а не на тандем очень старых, получится и дешевле и удобнее и перспективнее... я тут уже поимел проблем с 9-й серией и CUDA6.5/DC5.2.... нвидия просто кинула обладателей 9-й серии |
Сейчас на форуме |
IdeaFix |
NEW! Сообщение отправлено: 14 января 2018 18:27 Оффтопик: Оффтопик: falanger И это... еслли Вы хотите стабильности, не смотрите на потребительские SSD. То что Вы что-то видели в каком-то обзоре - ничего не означает Интел 3700 будет стабильнее и предсказуимее чем любой суперикс, гиперикс и даже триперикс... проверено маркетологами |
Сейчас на форуме |
radbek
Full Member
Всего сообщений: 231 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 окт. 2013 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 14 января 2018 19:16 Сообщение отредактировано: 14 января 2018 19:16
Silent Breeze Я вот тоже об этом задумывался, но был уверен не на 100%, поэтому решил, что если товарищ так уверенно заявляет, то, наверное, я чего-то не знаю. Если поставите 4 видяхи по 3 гига у вас так и будет 4 видяхи по 3 гига, а не 12 гигов видеопамяти... Если бы в SLI память сумировалась, то NVIDIA обламывалась бы с топовыми квадрами, которые для некоторых применений (рендеринг и т.п.) вполне можно было бы заменить Титанами по в 2-3 раза более демократичной цене |
IdeaFix |
NEW! Сообщение отправлено: 14 января 2018 19:32 Сообщение отредактировано: 14 января 2018 19:35
radbek, Silent Breeze Тредстартеру не нужен сли, Тредстартер считает что SLI BRIDGE, равно как и полноскоростные слоты на всех картах, ускорит работу памяти как единого целого для GPGPU. Так это или нет - науке не известно, ибо в случае GPGPU задача ВСЕГДА хорошо паралелится и ситуации когда одному "вычислителю" нужен доступ ко всей памяти обычно нет. falanger Я просто оставлю это здесь... https://pro.radeon.com/en/product/pro-series/radeon-pro-ssg/ https://www.ixbt.com/news/2017...ssg-2.html P.S. Не смотрите цену... не надо. |
Сейчас на форуме |
radbek
Full Member
Всего сообщений: 231 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 окт. 2013 |
IdeaFix Судя по всему, это решение все в одном по типу того, что нужно автору топика, но цена действительно безбожная и как я понял 2 Тб это не RAM видеокарты, а SSD NVMe на ней. |
IdeaFix |
NEW! Сообщение отправлено: 14 января 2018 23:13 Сообщение отредактировано: 14 января 2018 23:14
radbek Там есть HBM как L1 и NVME SSD (он доступен видеокарте, не системе) как L2. Таким образом видяха не гоняет большие данные через внешний PCI-E, решая проблему с линиями/шириной до внешнего L2. И если данные достаточно холодные - это очень круто! Ждем симметричного решения от интел на оптане, хотя, оно в общем уже есть. Если рассматривать плис+проц+оптан как симметричный ответ. И порядок цен тут значения не имеет. Кому-то из клиентов важнее OPENCL или даже MPI из коробки, а кому-то важно чтоб ПЛИС. |
Сейчас на форуме |
radbek
Full Member
Всего сообщений: 231 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 окт. 2013 |
IdeaFix Какой же ресурс тогда у L2 SSD получается? При тех скоростях, что теоретически достижимы, как бы не месяц-два жизни. |
IdeaFix |
NEW! Сообщение отправлено: 15 января 2018 18:37
radbek С ресурсом там всё нормально. Нужно понимать что кэшируются в сосновом тёплые данные для чтения и считается что задача должна поместиться в эти терабайты. А раз так, то с чередованием чтение-запись там всё умеренно. Но если есть сомнения, всегда есть Core 7-го поколения, чипсет 200+ и intel optane Просто warpdrive на eMLC десятилетней давности, да еще и сдобренные контроллерами sandforce без всякого TRIM как-то выжили под кэшем в течении более чем десяти лет и сейчас продабтся менее чем по 100 баксов за 400GB версию. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Вероятно буду собирать машину, но медленно-медленно... |
IdeaFix |
NEW! Сообщение отправлено: 16 января 2018 17:50
falanger Держите в курсе, особенно относительно технических частей и особенно неудач. Просто я в своё время собирал vSGA кластер из фекалий и палок. В интернетах всё было просто, на стенде тоже всё было просто, а на реальном железе не взлетело Вообще, опыт сборки подобных штук из доступного (не по цене, а по доступности) железа - это очень ценно. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
А подробней про свой кластер расскажете? |
IdeaFix |
NEW! Сообщение отправлено: 16 января 2018 23:35
falanger У меня всё начиналось банально - для работы понадобилась дома ESXi лаба. Для того, чтобы эмулировать рабочие процессы, была в общем легально получена лицензия и в кластере появились две ноды для ha, потом появилась виртуальная дисковая полка. хотя все задачи решались на DAS, а потом в инициативно-приказном порядке была поставлена задача попробовать vSGA. К тому времени это сменилось на это и старая машина на E5450/16GB стала хоть и частью ha кластера, но часто выводилась из работы. В итоге я воткнул в машину F40 варпдрайв и сначала гефорс, переделанный в квадро 2000, а потом и квадро 4000 и всё у меня было хорошо и замечательно... т.е. видеокарта "разделялась" между всеми виртуальными машинами, которым был дан vSGA доступ. Машины бодренько работали с CAD и всё такое.... но когда я попробовал собрать то же самое на SuperMicro H8SFL-F, то оказалось что если я хочу квадру, я должен отключить G200i, а за одним и ipkvm А потом оказалось, что даже после этого на куда более серьезной железке всё это дело всё равно не работает.... кажется что-то описано тут - http://forum.ixbt.com/topic.cgi?id=58:5060 В общем сейчас у меня в пъедистальном корпусе собрана такая машина: Opteron 6272/H8SGL-F/128GB DDR3 1600 ECC RDIMM, 2*8TB RAID6 Adaptec 5805, intel S3500 cache, SUN F40 Cache, Quadro 4000 (vDGA. фактически не используется). Ну там упс, два аплинка, что-то еще... объём памяти и кэша позволяет работать со снапшотами очень быстро. Да и вообще машина много прикладных и бытовых задач решает. ESXi 5.5, на работе выше не переходят, ну и я сижу на 5.5 - хватает. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Может тогда посоветуете плату вроде вашей но не менее 6 слотов PCI-E 16х? Завтра я смогу уточнить требуется ли кластеру SLI и 16х слоты или можно обойти майнерскими райзерами 1х. Аналогично хватит ли GTX 580 3Gb или GTX 590 3Gb. Если можно обойтись минимумом... то тогда просто нужна будет плата на максимум слотов с хотя-бы парой под быстрый кэш на SSD шинных и оперативкой 128 или более гб. |
IdeaFix |
NEW! Сообщение отправлено: 17 января 2018 9:45
falanger Тут всё зависит от бюджета и от необходимой производительности проца. Получить 8+8+8+8 можно достаточно бюджетно, получить 16+16+16+16+16+16 наверное просто не возможно. Столько PCI-E линий есть только у крайних топовых процов, а всякие P6T Суперкомьютер - это или PLX мосты или NF200. Ну а если повесть на PCI-E 4x мост в 16x, то мы не получим bandwidth 16x. К сожалению, на вскидку я не подскажу решения с 6 длинными слотами, особенно не понимая требований к мощности CPU и памяти, но как вариант - у DELL есть "копеечные" платы под четыре сокета G34 (64 ядра ATHLON FX и 1TB памяти!) в формате 2U/4U. У микро есть чуть проще и чуть стандартнее - SuperMicro AMD H8DGI-F. Два сокета и полтерабайта (бюджетно правда получится лишь 256GB=16*16GB) памяти - можно отказаться от L3 на SSD. Ну и PCI-E там опять же уже много... только вот всё же может 2 титана первых или три GTX760 4GB? Такие тоже бывают и стоят не дорого. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Я постараюсь уточнить сегодня-завтра требования к подсистеме видеокарт. Но память на плате жела тельно больше да. |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 17 января 2018 15:58 Сообщение отредактировано: 17 января 2018 19:47
IdeaFix написал: Можно поподробней? DELL есть "копеечные" платы под четыре сокета G34 (64 ядра ATHLON FX и 1TB памяти!) в формате 2U/4U. И вы упоминали что используете пару Квадро 4000 видеокарт как "кластеры под MPI" - можно подросбности? Какие требования в PCI-E слотам это выдвигает? 16х режим? 8х или вообще можно обойти 1х майнерскими райзерами через USB 3.0 кабель? Просто нашел пару плат на 256-512 Гб оперативки с дуал-процами и PCI-E 16х. А вот на серверных 2U ими и не пахнет, И размен теребайта оперативки платы с 64 ядрами процов на кластеры карт - фиг знает равноценно ли... |
IdeaFix |
NEW! Сообщение отправлено: 17 января 2018 22:57 Сообщение отредактировано: 17 января 2018 23:02
falanger PowerEdge C6145 + шасси PowerEdge C410x PCIe. Плата (только плата!) от первого стоит ну очень не дорого, а вообще, поискать у афинажников что-то подобное и купить недостающие остатки - в общем вариант. Вообще, внешнее шасси под беспропеллерные мощные карты - это интересно, но поймать такое по цене металлолома - задача... ну, или удача. Хотя поймать SuperMicro AMD H8DGI-F будет попроще. У меня Quadro 4000 (да и k2000) стояли по одной. До этого были FX4800/FX6000, но это было давно, да и карты ну очень уж старые. Рискну предположить что всё работало в слотах не быстрее чем PCI-E 2.0 8x, но гонять огромные объёмы задачи не было. Задача была спроектирована так, что каждый день мне давали 15-20 GB исходных данных, я складывал их на NFS шару и через сутки забирал 4GB результата. Процесс был автоматизирован. Там была нужна тупая GPGPU мощность - форт. Это было на квадро фх, а сейчас скорее vSGA, а там 8x - за глаза. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Вроде как самое подходящее Supermicro X10DRI + Xeon E5 2680 V3 + 2х32 Гб для начала. Слоты 3.0 16х, формат ЕА-АТХ... всякие бэксплайны не нужны и хитрые райзеры. |
BreakPoint |
NEW! Сообщение отправлено: 18 января 2018 19:21 Сообщение отредактировано: 18 января 2018 19:22
А SLI точно нужно? Для манинга например SLI не нужен. А тут принцип скорее всего тот же. Если нет, то есть майнерские материнки которые до 6 карт поддерживают, правда через райзеры. Обычные материнки как правило больше 3-4 карт не тянут. У меня ферма стоит на 6хRX580 могу попробовать запустить тензор флоу для тестов, если объясните как. |
Сейчас на форуме |
radbek
Full Member
Всего сообщений: 231 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 окт. 2013 |
BreakPoint SLI скорее всего предназначался для увеличения пропускной способности при доступе памяти и объединения видеопамяти в общий массив (которого не происходит), так, что вполне верятно, что в таких системах SLI не нужен, а нужен другой подход к построению вычислителя. |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Возможно что придется искать б\у Теслы М2090 и использовать их. И вот еще кое-что по нейросетям выплыло https://habrahabr.ru/company/ashmanov_net/blog/346958/ Но это уже готовую обученную сеть использовать, обучать все равно на массиве GPU придется. |
IdeaFix |
NEW! Сообщение отправлено: 19 января 2018 8:53 Сообщение отредактировано: 19 января 2018 9:05
radbek Объединения памяти не происходит в D3D/OGL, а не в SLI как таковом. Мы же не знаем какую программную обвязку использует ТС и не знаем какой там уровень абстракции от железа. А ну как там что-то простое на высокоуровневом языке, а параллелит задачу уже какая-то вм. И мы не знаем, может ли всё это использовать сли бридж для того, чтобы разгрузить пци-е. Только вот мне в любом случае, такая архитектура программы, при которой вычислитель находится по одну сторону pci-e, а память по другую, кажется бредовой. Особенно, если это L1 память. Жаль только что бредовые задачи - не редкость. Например: "Мы знаем forth, у нас есть кривая реализация нашей идеи на нём и кривой враппер mpi. Мы где-то слышали что посредством еще одного враппера это запустится под CUDA. Делай!" При этом, если всё сделать нормально, задача выполнится за месяц, а не за год.... но, что есть - то есть. BreakPoint Представьте что есть некая задача, у которой 12GB данных на кэше первого уровня (видеопамять), 64 GB данных на кэше второго уровня (оперативная память), небольшие сотни гигабайт на кэше третьего уровня (SSD массив) и тёпленькое на дисковой полке... По всему получается что ПСП очень важна, но, не зная ТЗ мы можем только гадать... |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
IdeaFix написал: Примерно так оно и сформулировано, никак пока не удается отловить и уточнить подробности у того кто в ТензорФлоу зарылся глубже чем я с другом-программистом. Представьте что есть некая задача, у которой 12GB данных на кэше первого уровня (видеопамять), 64 GB данных на кэше второго уровня (оперативная память), небольшие сотни гигабайт на кэше третьего уровня (SSD массив) и тёпленькое на дисковой полке... |
IdeaFix |
NEW! Сообщение отправлено: 20 января 2018 0:10 Сообщение отредактировано: 20 января 2018 0:13
falanger Буквально сегодня прошла новость об аналоге Optane от AMD, но если Интел обещал кэширование только на 7-м поколении core, то у АМД заявляется на 3хх серии чипсетов "связка" память+ssd+hdd в качестве одной системы хранения. В свете NVME RAID идея не выглядит столь уж сложной логически, но.... помните сколько времени понадобилось чтобы довести программный raid5 в ich до ума? Столько, что его потом просто выпилили... https://www.ixbt.com/news/2018...d-hdd.html С другой стороны будет смешно, если это просто переименованный (аналог) primocache... Кстати, примокэш может так - https://pp.userapi.com/c840228...GBGcyE.jpg Размер теста - 4GB |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Сейчас я думаю отказаться от кеширования на SSD в пользу емкости оперативной памяти. Точнее ориентироваться на 128+. Плата то которая понравилась в максимуме может 2 Тб иметь, планками по 64 гига. Другой вопрос что в Рассее хотят за планки 32 гига 17,5-20К... |
IdeaFix |
NEW! Сообщение отправлено: 20 января 2018 0:36
falanger Я брал на ибее DDR3 ECC RDIMM 1600 очень дешево. По сути по такой же цене, по которой на ибее же продавали DDR3 ECC RDIMM 1333 вдвое меньшего объёма. В итоге 128GB достаточно быстрой памяти встали мне менее чем в 20 тысяч рублей вместе с доставкой (тысяч 16-17). С DDR4 ECC RDIMM пока такого конечно нет, ну и HCL матери смотреть надо и процов, но, память (в отличии от незатёртых SSD) можно найти не дорого. А SSD -это пожалуй только SUN F40, F80 и аналоги. Других относительно ёмких кэширующих SSD, доступных по цене я не встречал. F40 (400GB) можно поймать сейчас менее чем за 100 баксов. Системы на G34 я предлагал исключительно исходя из того что проц (производительность) не нужен, память нужна (объём) и бюджет ограничен... шестнадцатиядерный оптерон 62хх стоит просто дешевле чем кулер к нему 63хх подороже, но с Xeon E5 2ххх V2 не сравнить |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
У той платы на которую облизываюсь DDR4 2133 reg ECC. Хотя продаван пишет что и с обычной бытовой без контроля четности работает. |
IdeaFix |
NEW! Сообщение отправлено: 20 января 2018 10:07
falanger ECC RDIMM на вторичном рынке может стоить ЗНАЧИТЕЛЬНО дешевле. Особенно большие модули.... но DDR4 еще не успел подешеветь. Планка на 16GB тянет минимум на 200 баксов, а DDR3L ECC RDIMM на 16GB стартует от 50 баксов. И если мы говорим о разнице в цене в 4 раза, то на объёмах не в 16, а скажем, в 160GB это очень серьезная цифра. Не агитирую за ddr3, просто мысли вслух. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
IdeaFix да я это понял уже, просто на G34 платы с 512-1024 Гб или очень хитрые серверные или редкие. |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Спасибо за предложение, я выясню можно ли запустить ТезорФлоу на вашей конфигурации. Но может оказаться что он "только под Линукс, только под CUDA" |
IdeaFix |
NEW! Сообщение отправлено: 20 января 2018 12:53
У меня в свою очередь есть машина с двумя 1070, но там всего один процессор - i7-2600 и всего 8GB памяти. Дисковой подсистемы как таковой нет, видяшки подключены как 16+4 без сли бриджа. Основная задача - джон рипер Правда теперь выгоднее у амазона покупать под задачу на часик такую машину, чем держать свою. Если будет загрузочный образ, который загрузится, проведет тест и сформирует репорт - я готов попробовать. Если операционную систему и операционную среду придётся делать мне самому - я пас. Лениво |
Сейчас на форуме |
CodeMaster
Advanced Member
Рыцарь ордена Хламовников Откуда: Воронеж Всего сообщений: 1655 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 27 авг. 2010 |
falanger написал: Но максимальный объём наверняка будет в 2 раза меньше и цена выше (хотя, по соотношению цен на DDR4 не уверен) Хотя продаван пишет что и с обычной бытовой без контроля четности работает. |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Из-за финансовых соображений походу придется вот на таком остановится https://www.supermicro.com/Apl.../H8DGi.cfm |
radbek
Full Member
Всего сообщений: 231 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 окт. 2013 |
Я уже потерял нить, изначальная задача была посоветовать что бюджетно можно собрать для Задачи, а теперь и задача изменилась и бюджет ВЫРОС(?) к рассмотрению идут уже актуальные Зеон Е5. Так можно и до суперкомпьютеров дойти. |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
По мере уточнения задачи стало ясно что нужно на плате памяти 256 гб++. И наличие pci-e 16х для мощной графкарты или вовсе Теслы б/у, а лучше не одной. |
IdeaFix |
NEW! Сообщение отправлено: 20 января 2018 21:31
falanger 1. Ищите модельку с набортным сасом - сэкономите PCI-E слот. 2. Цена шестнадцатиядерных Opteron 62xx удивит приятно, а вот доступность и цена кулеров разочарует :9 |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Ознакомившись с вариантами даже появилась мысль собрать вариант машины "v 0.0.1" на базе ноутбука DELL precission M6400, 16 гигов памяти, 4 ядра Коре 2 Квад, Квадро м3700 с гигом памяти и 3 SATA диска можно установить причем в рейде 0 и 1 ЕМНИП. Есть поставить три одинаковых в режиме ускорения чтения, то получится канал дискового обмена 3х300 мб/с, почти шинная флешка что планировалась для кэша. А внешнюю "полку" городить либо в USB-боксах либо собрать NAS маленький на гигабитной сетке напрямую, есть у меня платка с Атомом, 2 гигами памяти и 2 SATA в компактном корпусе. И пока программист будет тренироваться на кошке, можно будет уже не надрываясь собирать на Супермикре что-нибуть более толковое. Если он к затее к тому времени вовсе не охладеет. |
IdeaFix |
NEW! Сообщение отправлено: 22 января 2018 18:21
falanger А что мешает просто на базе пьедестальной машины собрать? Зачем этот цирк с ноутбуком? Просто M3700 - это "шашечки"... это не "ехать". |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
IdeaFix написал: Мешает отсутствие лишних 150 тысяч. А что мешает просто на базе пьедестальной машины собрать IdeaFix написал: Чтобы заставить программиста шевелиться. Потренироваться на кошках он сможет и на ноутбуке. И только если будет результат будет смысл вкладывать цену машины подержаной не самой плохой в дорогое и специфическое железо, которое не продашь если что быстро. Зачем этот цирк с ноутбуком? IdeaFix написал: Это ехать... на самокате. И можно малой кровью поменять на М3800... Просто M3700 - это "шашечки"... это не "ехать". |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Вот темку создал про файл-сервер на "Атомной" плате. Будет "дисковой полкой" или хотя-бы системой резервного копирования для моей задумки. |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Все-таки постепенно что-то да двигается. Для начала минимального кое-что да выходит. Ноутбук собирается на котором будет запускаться тестово ТензорФлоу, NAS для системы автоматического резервного копирования, пускай и самый минимальный... уже от чего-то можно отталкиваться. |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 27 января 2018 12:52 Сообщение отредактировано: 27 января 2018 16:03
Ну что, приехали водоблоки на CTX 580. Осталось достать карты на которые и одеть их. Еще мучаю в чате техподдержку nVidia русскую. Результаты есть. 1. Tesla не требуют для работы SLI, достаточно PCI-E 16x 8x 2. Tesla автономны от видеосистемы, можно для вывода использовать встроенное видео материнки. 3. Про режим работы памяти видеокарт в SLI ничего не выяснил пока. |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Вот такие забавные платы можно купить в Китае и на еВау. https://www.ebay.com/itm/Wiwyn...1296440423 А вот тут показано как эту штуку включить на столе. https://www.youtube.com/watch?v=dBI3HC-op3I Конечно 2 SATA это мало, но зато 2 порта гигабитных Езернета... и 2 шт 16х слота. Т.е. или райзер ставить чтобы воткнуть более 2 карт/Тесл или работать с системой через сеть. И можно действительно поставить быстрый нас с двумя гигабитками и запустить iscsi... |
IdeaFix |
NEW! Сообщение отправлено: 27 января 2018 23:10
falanger Ух как мы наеба^W намучились с поделиями аквариуса, у которого вместо привычной микры и интела в последнее время всё стало стильно, модно, молодёжно и кетайско.... берите тогда уж сразу россыпь хуананов |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 27 января 2018 23:30 Сообщение отредактировано: 28 января 2018 1:29
IdeaFix Значит люто, яростно не рекомендуете? А что посоветуете Микро на паре G34 во встроенным SAS и "почти АТХ"? ЗЫ. Меня привлекла цена - 16200р с двумя процессорами, радиаторами, райзером и 16 гигами памяти без учета доставки. За такую цену только плату Супермикры в лучшем случае купишь. И единое питание 12В... в комбинации с SSD так и просится на что-нибуть подвижное с колесами/гулсями да манипуляторами... если доживет. Еще в копилку - запуск 1U платы C8220 DELL. Это уж точно не Китай. https://forum.level1techs.com/...ons/109554 |
IdeaFix |
NEW! Сообщение отправлено: 28 января 2018 10:55 Оффтопик: Оффтопик: falanger У нас был опыт эксплуатации большой машины на русском (китайском) железе и русском гипервизоре. Машина реально большая и не дешевая. Все сертификаты, всё такое... отечественное типа. Марок железа и гипервизора не называю, но, вариантов то и нет для выбора Процессорные платы сгорели все. 100%. Если считать горение замен, то больше чем 100%. И дело не в наших кривых руках, монтаж и пуск был под ключ интегратором. Площадка нормальная, без проблем с инфраструктурой. После года постоянных простоев, замен и снова простоев машина стабилизирована на чуть меньшем количестве сокетов (видимо просто платы кончились) и под квм. Работает, выполняет не критические задачи. Мой опыт работы с китайским серверным железом не большой в плане ассортимента и не долгий в плане поколений, но резко негативный. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
IdeaFix Принято, китайское железо вычеркиваю. Зато нашел 1U плату с двумя процессорами, 256 мах памяти и 4-мя SATA прямо на плате. https://www.ebay.com/itm/Dell-...Sw2GlXIOHY Dell PowerEdge c8220 - 083n0 Это же офигительно! Осталось накопить денег на нее. |
radbek
Full Member
Всего сообщений: 231 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 окт. 2013 |
falanger А ей BackPlane для работы не нужен, для старта для питания? И там всего 2 порта PCIe |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Ее можно запустить только подав питание +12 и замкнув пару контактов, выше есть ссылка как американец запускал точно такую плату просто воткнув отвертку в разъем управления. Насчет двух портов - можно поставить в каждый по 2 райзера и вместо двух портов 16х получить 4 порта 8х которых достаточно для работы 4-х GPU Tesla M2090 или подобных. Благо на этой плате есть встроенное видео. И главное там есть прямо на плате 4 порта SATA. Обычно только 2 их. Т.е. можно без Бакплайна сделать RAID на 4 SSD, плюс два гигабитных порта - на внешнее хранилище объединив каналы, плюс 10/100 сетка для управления и медленных бекапов, плюс СОМ-порт для чего угодно. Если получится найти документацию на плату с распиновкой разъемов - может там и еще какие полезные порты получится вытащить наружу и свистелки-перделки вроде лампочек активности дисков-сети-питания-диагностики... |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Начало положено, порегился на ебее и начал с кабеля для подключения GPU Tesla штатного... для проверки как все сработает. |
IdeaFix |
NEW! Сообщение отправлено: 28 января 2018 21:00
falanger IMPI dedicated lan не пригодна для "медленных бэкапов". Если это dell, то там на этом интерфейсе висит айдрак и больше ничего. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
IdeaFix Я ссылку на ебай дал, закачал мануалы на эти платы но пока не прочитал. Но эти порты были выведены "наружу", думаю унивресальные |
IdeaFix |
NEW! Сообщение отправлено: 29 января 2018 14:22
falanger Это порт IMPI модуля. Т.е. это виртуальная консоль, не сеть. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Это который 10/100? К нему можно подключать обычный ноутбук для управления системой внешнего? А две гигабитки - нормальные? Далее, получил ответ техподдержки nVidia про SLI. >Спасибо, что обратились в службу поддержки Nvidia. Меня зовут Рустам, я буду помогать вам сегодня в вашем вопросе. >По Вашим вопросам могу сообщить следующее: >> 1. Объединяется ли память в общий массив или в каждой карте своя копия данных? >В режиме SLI память не суммируется и каждая карта и имеет свою копию данных >>2. Сколько максимально карт Tesla можно установить на ПК,? >Это зависит от материнской платы и от ОС (Виндовс 10 поддерживает до 10 карт) Так что действительно SLI-материнку искать нет смысла, лучше взять плату ноды С8220Х на которой 4 onboard SATA, подключить две Tesla да накидать памяти побольше, в максимуме 512 Гб. И я такую плату на еВау уже оплатил. |
IdeaFix |
NEW! Сообщение отправлено: 29 января 2018 21:56
falanger Вы задаёте не верные вопросы, получаете не верные ответы и делаете не верные выводы. Профит. Какие API поддерживает SLI? Правильно, по сути Direct3D и быть может OpenGL. Всё. Вы будете использовать хоть один из этих API в TF? НЕТ!!!! ВАМ СОВСЕМ НЕ НУЖЕН SLI, О ЧЕМ ВАМ НЕОДНОКРАТНО СКАЗАЛИ ПОЧТИ ВСЕ В ЭТОЙ ТЕМЕ. Вопрос должен был звучать так: Рустам, скажите, имеет ли хоть какой-то эффект SLI BRIDGE для GPGPU задач? Разгружается ли PCI-E за счет использования SLI BRIDGE на тандеме видеокарт, решающих GPGU задачи? Тогда инженер спросит у Вас про задачу чуть подробнее, а Вы как попугай повторите "Тензорфлоу".... а это просто слово. Вывод: Вопроса у Вас нет. Не верный ответ есть. Вы считаете что имеете посыл для дальнейших действий. Наймите уже нормального системного архитектора... либо соберите whitebox по мануалу. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 29 января 2018 22:03 Сообщение отредактировано: 29 января 2018 22:05
IdeaFix Я уже разобрался что мне SLI не требуется для моей задачи, достаточно платы ноды, с GPGU и максимальным объемом памяти и SSD в RAID0 для ускорения доступа + NAS для архивации автоматической. А нанять системного архитектора нету денег ни у меня, ни у человека которому собирать буду "крокодила", наука как всегда нищая. |
IdeaFix |
NEW! Сообщение отправлено: 29 января 2018 22:11
falanger Хмм... мы в УРФУ пускаем на свой гпу кластер по договорённости. Думаю, наших мощностей хватило бы для решения задач, которые решаются за годы на 580-х картах, за несколько недель. Это не фигура речи. В региональных отделениях наук тоже обычно нормально железа, если есть химия или фармакология. |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Во первых это астроном, во вторых он из "маленькой но гордой Литвы". Их сокращают в течении Февраля. Он последний год работал как раз по нейросетевой теме и чтобы что-то публиковать и как-то зарабатывать на удаленке и публикациях ему потребуется к середине года терминальный доступ на железо. Переехать человек не может, семья, возраст и болячки. В молодости траванулся растворителем для хитина при аварии еще во время СССР. Так что я ему и начал собирать то на чем он сможет считать свою заумь и кое-что для меня, что как раз и может растянуться на годы, для компенсации моих затрат на электричество и сборку железа. В качестве GPGU я ему поставлю пару Tesla K10. Это то что доступно мне по бюджету при максимальном объеме "бортовой памяти". Насчет программирования GPGU кстати нашел хорошую лекцию в инетах, понятно даже мне http://ssd.sscc.ru/sites/defau...-intro.pdf Вот такие вот пироги. Так что собирать монстра в SLI на 580-х я не буду. Точнее буду но только на 2 карты, для своего автокада 14-го. Моему рисованию деталек для 3Д принтера этого хватит. А считать нейронку будет нода С8220Х с парой Тесл. Кстати если кинете ссылку на хорошую документацию или курс видеолекций на русском про железо серверное и его администроование был бы сильно признателен. |
IdeaFix |
NEW! Сообщение отправлено: 29 января 2018 23:24
falanger 1. У астрономов нет национальности. 2. У астрономов нет комплексов. Просто оставлю это здесь: https://pp.userapi.com/c617628...GyfXr4.jpg https://pp.userapi.com/c314916...SmVwmY.jpg https://pp.userapi.com/c624623...xW1WSM.jpg У нас не только GPU кластер есть, но и... обсерватория. Возможно, самая северная из разумных. И есть она не для галочки и выигрывает гранты и блестяще их реализует. Думаю, наш диалог в скором времени окончательно выйдет за рамки данного топика, может переместимся сначала в личку, а потом еще куда? |
Сейчас на форуме |
falanger
Advanced Member
Откуда: г Черняховск Калининградскjй обл Всего сообщений: 1505 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 30 апр. 2008 |
Создавать похоже надо вторую тему рядом, "Нода сервера С8220 и пара GPGU"... |
Rio444
Гость
Откуда: Ростов-на-Дону Всего сообщений: 8632 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 14 сен. 2014 |
IdeaFix написал: Очень достойно! Просто оставлю это здесь:https://pp.userapi.com/c617628...GyfXr4.jpghttps://pp.userapi.com/c314916...SmVwmY.jpghttps://pp.userapi.com/c624623...xW1WSM.jpgУ нас не только GPU кластер есть, но и... обсерватория. Возможно, самая северная из разумных. И есть она не для галочки и выигрывает гранты и блестяще их реализует. |
XPOHOMETP
Advanced Member
Всего сообщений: 752 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 13 мая 2015 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 30 января 2018 22:31 Сообщение отредактировано: 31 января 2018 18:27 Оффтопик: Оффтопик: IdeaFix, Наири на второй фотке? Прикольно в крестики-нолики играла... UPD. Пусть и ЦУП (см. ниже), но то ЭВМ Наири-К, теплая (потребление от сети в киловаттах измерялось) и транзисторная Не догадался вчера фотки увеличить - над пультом справа можно разглядеть модель. Даты могут быть и лет на 15 раньше, в середине 80-х у нас их уже демонтировали... А сообщением ниже менее теплые и интегральные Д3-28... Но посмотреть в любом случае приятно. Вполне по тематике форума, спасибо! |
IdeaFix |
NEW! Сообщение отправлено: 31 января 2018 16:37 Оффтопик: Оффтопик: XPOHOMETP Это ЦУП... рабочее место оператора, управляющего обсерваторией. 80-ые наверное. В основном всё сделано руками и головой человека, который изображен на фотографиях. Он работает до сих пор... как шутят коллеги, на том же оборудовании Правда, они имеют в виду телескоп. А вообще, там и Consul, и FS 1501 и много чего еще. У меня достаточно много пленок тех лет, которые периодически сканирую, так одно и то же железо использовалось и для управления телескопами, и для печатания книжек для слепых (модифицированный Консул) и для создания станков с ЧПУ и много для чего еще. Железо одно и очень казуальное, а головы... голов много и они уникальны. А из объектива МТО сделали вундердивайс, который будучи лазерным дальномером после переделки, измерял расстояние от станции МИР до планеты Земля... Сгорел вместе с МИРом, остались только фоточки... ну и еще немного тепла и ламповости |
Сейчас на форуме |
<<Назад Вперед>> | Страницы: 1 2 3 4 5 6 7 8 9 10 | Печать |
Полигон-2 » Технический флейм » SLI-машина 3..4 х GT 580 3Gb. |
0 посетителей просмотрели эту тему за последние 15 минут |
В том числе: 0 гостей, 0 скрытых пользователей |
Последние | |
[Москва] LIQUID-Акция. Сливаются разъемы CF МС7004 и 7004А на AT и XT Пайка термотрубок Проммать s478 PEAK 715VL2-HT ( Full-Size SBC) Подскажите по 386 материке по джамперам. |
Самые активные 5 тем | |