Полигон-2

IdeaFix написал:

[q]

1. Где я писал про файловый сервер? Правильно, нигде.

[/q]

В первом сообщении написано:
"Встала задача поддержки файловой базы данных"
Без каких-либо прочих уточнений, воспринимается именно так.


IdeaFix написал:

[q]

проблема заключается в том, что софтина выжирает очередь у одного 15K диска.

[/q]

Я не понимаю, что ты пытаешься сказать этой фразой. С моей точки зрения - это неправильная диагностика или нерпавильная формулировка обнаруженного узкого места.


IdeaFix написал:

[q]

Сделать отзывчивость как у SSD вряд ли выйдет на легаси железе

[/q]

Тут должна быть точка.
И с этим выводом надо идти к начальнику проекта, пусть покупает ssd.


IdeaFix написал:

[q]

по iSCSI и уж точно не выйдет по SMB.

[/q]

Я не понимаю, зачем ты с упортством достоным лучшего применения, везде тянешь этот iscsi? Других слов не знаешь?

Я проводил нагрузочные тесты, даже nfs и cifs не вносят никакой заметной задержки по сравнению с остальными частями стека. Сделай на сервере рамдиск и работа по сети будет заметно быстрее чем с локальных дисков.

Дебаг показывает что эта штука хочет читать одномоментно 5-15 тысяч мелких файликов... рамдрайв на цифс говорите? Пусть это попробует кто-то другой.

К тому же, я кажется писал про большие десятки гигабайт или маленькие сотни и объём памяти в 32ГБ. Нужен кэш, не рамдрайв - не влезет, да и жирно слишком.

Если есть ад, то там есть отдельное место для программистов, творящих такой софт, но, это к делу уже не относится.

https://pp.userapi.com/c830400...EAoTas.jpg
А вот так с кэшем в памяти на 16GB выглядит очередь (Активное время в терминологии WINDOWS). Хитрейт подрос до 60%, но всё равно придётся ждать начала рабочей недели чтобы посмотреть реальную нагрузку. Эмулировать нагрузку нет инструментов.

easyjohn
Какой-нибудь raid я пробовал. Конкретно пробовал хост 71685 и шестерку на 8 дисков 7.2K, знаете, по обычному рандом чтению этот массив оказался на удивление похож на быстрый одиночный диск Ну и порядков на несколько (так же как обычный диск) отстал от SSD. Но, это очевидно.

На продакшене мне нужно абстрагироваться от конкретного железа. Точно есть Windows, точно есть DAS, точно нужно решать проблему в рамках одного корпуса и видимо только кэшировать. Ибо объёмы уже тяжеловаты для рамдрайва (столько памяти просто нет), а делать ha ramdrive даже имея топовые медные сети и достаточный объём памяти - отдельная задача.

Для побаловаться можно наделать каких угодно велосипедов, для побаловаться можно и на 286 под дос вебсервер поднять и хвастаться аптаймом (вот), но мне нужно что-то коробочное и что-то гарантированно рабочее.

Что я пока полнял:
1. Windows не имеет встроенных механизмов для решения этой задачи (хотя HyperV при этом умеет ssd cache датастора!).
2. Не хочу связываться с наколеночными решениями на базе legacy hardware. Если уж использовать старое (ну как старое, 2*771 8 core 32gb ram) старое железо, то хоть с вменяемым софтом.

Там реально много условий и можно сколь угодно долго обвинять меня в том что задача не понятна, но необходимые условия - wondows; das; 1 корпус.

easyjohn Мне всё более очевидно что Вам нечего сказать. У Вас определенно на этот счет иное мнение. Буду ли я Вас в чем-то убеждать? Едва ли...

P.S. Не рискнул использовать термин SAS (Server Attached Storage), использовал DAS, чтобы отсечь сеть. Смиритесь уже с тем что я слишком глуп чтобы сгенерировать вопрос под ответ, который у Вас есть Пройдите мимо.

easyjohn
А я продолжаю пинать примокэш... в общем придумал реальные ситуации как его можно свалить. С одной стороны, эти ситуации можно обойти более точным ранжирвоанием/агрегацией ресурсов, с другой... блин, эта штука показывает реально замечательную производительность. У меня на домашней лабе 128GB памяти, если делать небольшой раздел с полным кэшированием (кстати, вмварь в себе эти вещи позволяет делать - ничему не мешает), результаты просто суперские получаются. При этом даже имея ssd кэш на датастор и не топовую, но и не фри лицензию на ESXi, такого не добиться штатными средствами.

В свете этого начинаю иначе смотреть на Intel Optane... жаль, что оно требует определённое поколение интеловской инфраструктуры. Остановить что ли лабу и вставить в неё старенький варпдрайв? Очень уж хочется посмотреть на то как многоуровневое кэширование работает и в ключе хост-записей на ссд (те же варпдрайвы достаточно быстро прогорают) и просто в целом... а так же хочется сравнить с UFS без рейда.

https://pp.userapi.com/c840228...GBGcyE.jpg
А вообще весело...