Полигон-2

Собственно сабж. Встала задача поддержки файловой базы данных, которая поставляется AS IS и не будет оптимизирована. Объём базы - большие десятки гигабайт с перспективой роста до небольших сотен. Всё стильно-модно-молодёжно, a la блокчейн на каком-то высокоуровневом языке.

База выжирает очередь у одного 15К диска легко и непринужденно. База работает сносно на одиночном SSD, но 1-2TB чтений в день (не спрашивайте как) и пара сотен GB записи не радуют. Еще раз хочу уточнить, что над программной реализацией я не властен и переписать это дело может и можно, но никто не даст, софт поставляется AS IS.

Самое главное - это решение нужно внедрять в нескольких местах и нужно как-то тиражировать способ обеспечения работы этой штуки.

Что я делаю сейчас: беру легаси сервер с 32 GB памяти, собираю RAID10 с небольшим кэшем и ббу на 15K винтах и... наворачиваю поверх primocache(trial) с L1 кэшем 16GB. Работает так как надо, правда аптайма всего пара дней. Пробовал аналогичную утилиту supercache 6, но эта штука вгоняет в бсод своим драйвером и 10-ку и 2016 сервер.

В общем, я уже готов купить primocache, но есть вопросы:
1. Неужели в Windows до сих пор нельзя отдать всю свободную оперативную память хотя бы под кэш чтения? Если можно, то как?
2. Неужели NTFS не умеет кэширование на уровне устройств? Т.е. если я создаю составной том средствами NTFS, могу ли я подсунуть SSD или 15K диск(и) в качестве кэша?
3. Рискну предположить что и примокэш и суперкэш используют что-то стандартное виндовое, нельзя ли это же самое получить через стандартные инструменты windows?

Просто на старой соляре под UFS я бы эту задачу решил на версиях пятнадцатилетней давности, равно как и на линуксах, а тут вроде и гуглил, и маны читал, но ничего такого не увидел, что могло бы реализовать хотя бы кэш чтения значительных объёмов.

easyjohn
Софтина виндовая. Её не переписать. iSCSI в винду? Не смешно, да и не поможет... SSD нет, но есть легаси сервера (пролианты 5+ поколений) с нормальной памятью. Говоря "файловая база данных" я наверное чуть ввел в заблуждение, это даже не база данных, это по-дурацки написанная программка.

Собственно вопрос не о том что виндовс плохой или программа плохая, вопрос о том, как организовать одно- или многоуровневое кэширвоание дисковых операций на windows стандартными или внешними (но в небольшой бюджет) средствами.

Пока примокэш нравится - запустил его на чтение к 20TB шестерке с L1 4GB RAM и L2 64GB SSD. Данные достаточно холодные, через 4 часа работы HitRate 47%!

Редко покупаю софт, ворую еще реже (практически никогда), но покупая, хочется всё-таки выбрать лучшее.

IdeaFix написал:

[q]

SSD нет, но есть легаси сервера 

[/q]

Вобще, увидев такие "вводные" я обычно завязываю рабочие отношения с компанией.
Когда вместо покупки дисков по 5-10тыр надо строить костыли, крутить старье, которое жрет электричество как печка и которому место на помойке. Моя практика показывает, что если такое отношение к решениям админа, то и отношение к людям будет говно.

IdeaFix написал:

[q]

1. Где я писал про файловый сервер? Правильно, нигде.

[/q]

В первом сообщении написано:
"Встала задача поддержки файловой базы данных"
Без каких-либо прочих уточнений, воспринимается именно так.


IdeaFix написал:

[q]

проблема заключается в том, что софтина выжирает очередь у одного 15K диска.

[/q]

Я не понимаю, что ты пытаешься сказать этой фразой. С моей точки зрения - это неправильная диагностика или нерпавильная формулировка обнаруженного узкого места.


IdeaFix написал:

[q]

Сделать отзывчивость как у SSD вряд ли выйдет на легаси железе

[/q]

Тут должна быть точка.
И с этим выводом надо идти к начальнику проекта, пусть покупает ssd.


IdeaFix написал:

[q]

по iSCSI и уж точно не выйдет по SMB.

[/q]

Я не понимаю, зачем ты с упортством достоным лучшего применения, везде тянешь этот iscsi? Других слов не знаешь?

Я проводил нагрузочные тесты, даже nfs и cifs не вносят никакой заметной задержки по сравнению с остальными частями стека. Сделай на сервере рамдиск и работа по сети будет заметно быстрее чем с локальных дисков.

Дебаг показывает что эта штука хочет читать одномоментно 5-15 тысяч мелких файликов... рамдрайв на цифс говорите? Пусть это попробует кто-то другой.

К тому же, я кажется писал про большие десятки гигабайт или маленькие сотни и объём памяти в 32ГБ. Нужен кэш, не рамдрайв - не влезет, да и жирно слишком.

Если есть ад, то там есть отдельное место для программистов, творящих такой софт, но, это к делу уже не относится.

https://pp.userapi.com/c830400...EAoTas.jpg
А вот так с кэшем в памяти на 16GB выглядит очередь (Активное время в терминологии WINDOWS). Хитрейт подрос до 60%, но всё равно придётся ждать начала рабочей недели чтобы посмотреть реальную нагрузку. Эмулировать нагрузку нет инструментов.