Полигон-2

radbek Там есть HBM как L1 и NVME SSD (он доступен видеокарте, не системе) как L2. Таким образом видяха не гоняет большие данные через внешний PCI-E, решая проблему с линиями/шириной до внешнего L2. И если данные достаточно холодные - это очень круто!

Ждем симметричного решения от интел на оптане, хотя, оно в общем уже есть. Если рассматривать плис+проц+оптан как симметричный ответ. И порядок цен тут значения не имеет. Кому-то из клиентов важнее OPENCL или даже MPI из коробки, а кому-то важно чтоб ПЛИС.

radbek
С ресурсом там всё нормально. Нужно понимать что кэшируются в сосновом тёплые данные для чтения и считается что задача должна поместиться в эти терабайты. А раз так, то с чередованием чтение-запись там всё умеренно. Но если есть сомнения, всегда есть Core 7-го поколения, чипсет 200+ и intel optane

Просто warpdrive на eMLC десятилетней давности, да еще и сдобренные контроллерами sandforce без всякого TRIM как-то выжили под кэшем в течении более чем десяти лет и сейчас продабтся менее чем по 100 баксов за 400GB версию.

falanger
Держите в курсе, особенно относительно технических частей и особенно неудач. Просто я в своё время собирал vSGA кластер из фекалий и палок. В интернетах всё было просто, на стенде тоже всё было просто, а на реальном железе не взлетело Вообще, опыт сборки подобных штук из доступного (не по цене, а по доступности) железа - это очень ценно.

falanger
У меня всё начиналось банально - для работы понадобилась дома ESXi лаба. Для того, чтобы эмулировать рабочие процессы, была в общем легально получена лицензия и в кластере появились две ноды для ha, потом появилась виртуальная дисковая полка. хотя все задачи решались на DAS, а потом в инициативно-приказном порядке была поставлена задача попробовать vSGA.

К тому времени это сменилось на это и старая машина на E5450/16GB стала хоть и частью ha кластера, но часто выводилась из работы. В итоге я воткнул в машину F40 варпдрайв и сначала гефорс, переделанный в квадро 2000, а потом и квадро 4000 и всё у меня было хорошо и замечательно... т.е. видеокарта "разделялась" между всеми виртуальными машинами, которым был дан vSGA доступ. Машины бодренько работали с CAD и всё такое.... но когда я попробовал собрать то же самое на SuperMicro H8SFL-F, то оказалось что если я хочу квадру, я должен отключить G200i, а за одним и ipkvm А потом оказалось, что даже после этого на куда более серьезной железке всё это дело всё равно не работает.... кажется что-то описано тут - http://forum.ixbt.com/topic.cgi?id=58:5060

В общем сейчас у меня в пъедистальном корпусе собрана такая машина:

Opteron 6272/H8SGL-F/128GB DDR3 1600 ECC RDIMM, 2*8TB RAID6 Adaptec 5805, intel S3500 cache, SUN F40 Cache, Quadro 4000 (vDGA. фактически не используется). Ну там упс, два аплинка, что-то еще... объём памяти и кэша позволяет работать со снапшотами очень быстро. Да и вообще машина много прикладных и бытовых задач решает.

ESXi 5.5, на работе выше не переходят, ну и я сижу на 5.5 - хватает.

falanger
Тут всё зависит от бюджета и от необходимой производительности проца. Получить 8+8+8+8 можно достаточно бюджетно, получить 16+16+16+16+16+16 наверное просто не возможно. Столько PCI-E линий есть только у крайних топовых процов, а всякие P6T Суперкомьютер - это или PLX мосты или NF200. Ну а если повесть на PCI-E 4x мост в 16x, то мы не получим bandwidth 16x.

К сожалению, на вскидку я не подскажу решения с 6 длинными слотами, особенно не понимая требований к мощности CPU и памяти, но как вариант - у DELL есть "копеечные" платы под четыре сокета G34 (64 ядра ATHLON FX и 1TB памяти!) в формате 2U/4U.

У микро есть чуть проще и чуть стандартнее - SuperMicro AMD H8DGI-F. Два сокета и полтерабайта (бюджетно правда получится лишь 256GB=16*16GB) памяти - можно отказаться от L3 на SSD. Ну и PCI-E там опять же уже много... только вот всё же может 2 титана первых или три GTX760 4GB? Такие тоже бывают и стоят не дорого.