Внимание! Это временный неофициальный архив старой версии форума Полигон Призраков, созданный сочувствующим форуму участником. Этот сайт просуществует лишь до тех пор, пока администрация Полигона не сдержит своё обещание и не откроет официальный архив по адресу old.sannata.org.

Полигон-2

Форум о старых компьютерах

Объявление форума

Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС.

Полигон-2 »   Технический флейм »   Выбор ПО для кэширования дисковых операций в Windows
RSS

Выбор ПО для кэширования дисковых операций в Windows

В оперативной памяти, не RAMDRIVE

<<Назад  Вперед>> Страницы: 1 2
Печать
 
IdeaFix
Гость

Ссылка

Собственно сабж. Встала задача поддержки файловой базы данных, которая поставляется AS IS и не будет оптимизирована. Объём базы - большие десятки гигабайт с перспективой роста до небольших сотен. Всё стильно-модно-молодёжно, a la блокчейн на каком-то высокоуровневом языке.

База выжирает очередь у одного 15К диска легко и непринужденно. База работает сносно на одиночном SSD, но 1-2TB чтений в день (не спрашивайте как) и пара сотен GB записи не радуют. Еще раз хочу уточнить, что над программной реализацией я не властен и переписать это дело может и можно, но никто не даст, софт поставляется AS IS.

Самое главное - это решение нужно внедрять в нескольких местах и нужно как-то тиражировать способ обеспечения работы этой штуки.

Что я делаю сейчас: беру легаси сервер с 32 GB памяти, собираю RAID10 с небольшим кэшем и ббу на 15K винтах и... наворачиваю поверх primocache(trial) с L1 кэшем 16GB. Работает так как надо, правда аптайма всего пара дней. Пробовал аналогичную утилиту supercache 6, но эта штука вгоняет в бсод своим драйвером и 10-ку и 2016 сервер.

В общем, я уже готов купить primocache, но есть вопросы:
1. Неужели в Windows до сих пор нельзя отдать всю свободную оперативную память хотя бы под кэш чтения? Если можно, то как?
2. Неужели NTFS не умеет кэширование на уровне устройств? Т.е. если я создаю составной том средствами NTFS, могу ли я подсунуть SSD или 15K диск(и) в качестве кэша?
3. Рискну предположить что и примокэш и суперкэш используют что-то стандартное виндовое, нельзя ли это же самое получить через стандартные инструменты windows?

Просто на старой соляре под UFS я бы эту задачу решил на версиях пятнадцатилетней давности, равно как и на линуксах, а тут вроде и гуглил, и маны читал, но ничего такого не увидел, что могло бы реализовать хотя бы кэш чтения значительных объёмов.
Сейчас на форуме
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
Если знаком с солярой - почем у бы не взять ту же nexenta или самосбор на zfs_on_linux?

Если можно чистый линукс - тот же lvm + flashcache сделают все тоже самое (за исключением zfs send|zfs receive).

Вобще планируемые 100 гб легко лезут на один ssd. Взять два в зеркало или три-четыре в raid5 ( на ssd пятый рейд не страдает от потери скорости записи) и все.

PS фаилсервер винда+суперкеш я менял на голый линукс (ext3 + mdadm) еще лет десять назаад. С приростом дисковой скорости и уменьшеню затыков, когда у суперкеша кончилась память под wb и он захотел срочно сбросить все на диск.
IdeaFix
Гость

Ссылка

easyjohn
Софтина виндовая. Её не переписать. iSCSI в винду?:) Не смешно, да и не поможет... SSD нет, но есть легаси сервера (пролианты 5+ поколений) с нормальной памятью. Говоря "файловая база данных" я наверное чуть ввел в заблуждение, это даже не база данных, это по-дурацки написанная программка.

Собственно вопрос не о том что виндовс плохой или программа плохая, вопрос о том, как организовать одно- или многоуровневое кэширвоание дисковых операций на windows стандартными или внешними (но в небольшой бюджет) средствами.

Пока примокэш нравится - запустил его на чтение к 20TB шестерке с L1 4GB RAM и L2 64GB SSD. Данные достаточно холодные, через 4 часа работы HitRate 47%!

Редко покупаю софт, ворую еще реже (практически никогда), но покупая, хочется всё-таки выбрать лучшее.
Сейчас на форуме
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
Да, ты постарался запутать, по этому я запутался.
Причем тут софтина под винду, если разговор был про файловый сервер?
Ладно, пусть будет виндовая софтина, выносим ее на отдельный сервер с виндой, само хранилище организуем на этом старом железе с использованием любимых, гибких, бесплатных технологий.
Тут уже нет разницы, какой именно протокол использовать для доступа cifs, nfs, iscsi, ietd или еще что. Iscsi под винду вполне успешен, не понял, почему там вопрос.

Покупной софт в первую очередь приятен поддержкой. С момента покупки все проблемы перекладываются на сторонних лиц и тебе остается тоьько спокойно пить кофе и ждать решения.
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
IdeaFix написал:
[q]
SSD нет, но есть легаси сервера 
[/q]
Вобще, увидев такие "вводные" я обычно завязываю рабочие отношения с компанией.
Когда вместо покупки дисков по 5-10тыр надо строить костыли, крутить старье, которое жрет электричество как печка и которому место на помойке. Моя практика показывает, что если такое отношение к решениям админа, то и отношение к людям будет говно.
IdeaFix
Гость

Ссылка

easyjohn
А теперь два встречных вопроса:
1. Где я писал про файловый сервер? Правильно, нигде. Я писал что беру старый сервер и всё делаю на нём.
2. Я писал что проблема заключается в том, что софтина выжирает очередь у одного 15K диска. Сделать отзывчивость как у SSD вряд ли выйдет на легаси железе по iSCSI и уж точно не выйдет по SMB.

Сеть здесь только привнесёт новые проблемы, так что, еще раз:
1. Windows
2. Не RAMDRIVE
3. L1 кэш в памяти и быть может L2 кэш на SSD
4. Средствами винды или платными/бесплатными альтернативами примокэша.
5. На всякий случай еще раз... DAS.
Сейчас на форуме
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
IdeaFix написал:
[q]
1. Где я писал про файловый сервер? Правильно, нигде.
[/q]
В первом сообщении написано:
"Встала задача поддержки файловой базы данных"
Без каких-либо прочих уточнений, воспринимается именно так.


IdeaFix написал:
[q]
проблема заключается в том, что софтина выжирает очередь у одного 15K диска.
[/q]
Я не понимаю, что ты пытаешься сказать этой фразой. С моей точки зрения - это неправильная диагностика или нерпавильная формулировка обнаруженного узкого места.


IdeaFix написал:
[q]
Сделать отзывчивость как у SSD вряд ли выйдет на легаси железе
[/q]
Тут должна быть точка.
И с этим выводом надо идти к начальнику проекта, пусть покупает ssd.


IdeaFix написал:
[q]
по iSCSI и уж точно не выйдет по SMB.
[/q]
Я не понимаю, зачем ты с упортством достоным лучшего применения, везде тянешь этот iscsi? Других слов не знаешь?

Я проводил нагрузочные тесты, даже nfs и cifs не вносят никакой заметной задержки по сравнению с остальными частями стека. Сделай на сервере рамдиск и работа по сети будет заметно быстрее чем с локальных дисков.
IdeaFix
Гость

Ссылка

easyjohn
Т.е. по делу сказать нечего?:) нет, ну правда нечего совсем-совсем?:) А других способов кроме как пойти к руководителю проекта и сказать "я не смог" нет?:)

https://pp.userapi.com/c840429...VNa5iM.jpg

Чтение - метр в секунду, запись - да нет её, а читать не успевает. Ибо характер чтения идиотский...

У Вас бесспорно есть опыт решения каких-то других задач, но он тут не применим. Есть задача ускорить DAS. Под Windows. В пределах одного корпуса. Я уже не спрашиваю если Вам что сказать на этот счет, ибо ответ очевиден :)

У меня в общем уже есть что сказать и что формальному руководителю проекта предложить. Но, есть ли альтернативы в рамках поставленной задачи, а не применения неприменимого опыта?
Сейчас на форуме
IdeaFix
Гость

Ссылка

Дебаг показывает что эта штука хочет читать одномоментно 5-15 тысяч мелких файликов... рамдрайв на цифс говорите? Пусть это попробует кто-то другой.

К тому же, я кажется писал про большие десятки гигабайт или маленькие сотни и объём памяти в 32ГБ. Нужен кэш, не рамдрайв - не влезет, да и жирно слишком.

Если есть ад, то там есть отдельное место для программистов, творящих такой софт, но, это к делу уже не относится.

https://pp.userapi.com/c830400...EAoTas.jpg
А вот так с кэшем в памяти на 16GB выглядит очередь (Активное время в терминологии WINDOWS). Хитрейт подрос до 60%, но всё равно придётся ждать начала рабочей недели чтобы посмотреть реальную нагрузку. Эмулировать нагрузку нет инструментов.
Сейчас на форуме
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
IdeaFix написал:
[q]
А других способов кроме как пойти к руководителю проекта и сказать "я не смог" нет?
[/q]
Есть некоторая разница между "не смог" и "знаю, но не рекомендую и не буду поддерживать такое решение", не так ли?


IdeaFix написал:
[q]
Чтение - метр в секунду, запись - да нет её, а читать не успевает. Ибо характер чтения идиотский...
[/q]
Так чуть лучше, чем какое-то "выжирает очередь".
Железо можно добавлять/менять? Sas/raid какой(нибудь) сейчас стоит?


IdeaFix написал:
[q]
У Вас бесспорно есть опыт решения каких-то других задач, но он тут не применим.
[/q]
Как можно было узнать мой опыт по паре писем?


IdeaFix написал:
[q]
Дебаг показывает что эта штука хочет читать одномоментно 5-15 тысяч мелких файликов...
[/q]
Обычное random чтение.
Хорошо известно чем лечится.

IdeaFix написал:
[q]
рамдрайв на цифс говорите? Пусть это попробует кто-то другой.
[/q]
Я пробовал.
IdeaFix
Гость

Ссылка

easyjohn
Какой-нибудь raid я пробовал. Конкретно пробовал хост 71685 и шестерку на 8 дисков 7.2K, знаете, по обычному рандом чтению этот массив оказался на удивление похож на быстрый одиночный диск :) Ну и порядков на несколько (так же как обычный диск) отстал от SSD. Но, это очевидно.

На продакшене мне нужно абстрагироваться от конкретного железа. Точно есть Windows, точно есть DAS, точно нужно решать проблему в рамках одного корпуса и видимо только кэшировать. Ибо объёмы уже тяжеловаты для рамдрайва (столько памяти просто нет), а делать ha ramdrive даже имея топовые медные сети и достаточный объём памяти - отдельная задача.

Для побаловаться можно наделать каких угодно велосипедов, для побаловаться можно и на 286 под дос вебсервер поднять и хвастаться аптаймом (вот), но мне нужно что-то коробочное и что-то гарантированно рабочее.

Что я пока полнял:
1. Windows не имеет встроенных механизмов для решения этой задачи (хотя HyperV при этом умеет ssd cache датастора!).
2. Не хочу связываться с наколеночными решениями на базе legacy hardware. Если уж использовать старое (ну как старое, 2*771 8 core 32gb ram) старое железо, то хоть с вменяемым софтом.

Там реально много условий и можно сколь угодно долго обвинять меня в том что задача не понятна, но необходимые условия - wondows; das; 1 корпус.
Сейчас на форуме
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
IdeaFix написал:
[q]
Какой-нибудь raid я пробовал.
[/q]
Какой попало - не показатель.

IdeaFix написал:
[q]
пробовал хост 71685 и шестерку на 8 дисков 7.2K
[/q]
Эх... "Как взять неплохое железо и сделать на нем ... плохо".

IdeaFix написал:
[q]
по обычному рандом чтению этот массив оказался на удивление похож на быстрый одиночный диск
[/q]
BBU была установлена? Режим кеширования какой стоял?


IdeaFix написал:
[q]
На продакшене мне нужно абстрагироваться от конкретного железа.
[/q]
Опять непонятно. Если "нужно обстрагироваться от железа" - заказывай виртуалки с заранее заданной пропускной. Почти все публичные облака имеют варианты виртуалок или с ссд, или с подключеним сторов с лимитом по iops. Зачем вообще тогда этот топик?


IdeaFix написал:
[q]
Точно есть Windows, точно есть DAS
[/q]
Стоп, оказывается уже две железки есть? Что за контроллер на das? какой шиной подключен к машине с виндой?


IdeaFix написал:
[q]
Не хочу связываться с наколеночными решениями на базе legacy hardware.
[/q]
На "legacy hardware" все решения будут "наколеночными".


IdeaFix написал:
[q]
старое (ну как старое, 2*771 8 core 32gb ram)
[/q]
Очень старое. Срок жизни железа в IT - 3 года. Такие "сервера" мы выкидывали примерно пять лет назад, как отработавшие срок, к которым нет ни поддержки, ни запасных частей в продаже (очевидно, что не на вторичке).
Что характерно, всю нагрузку, выполняемую каждыми ~15-20 такими серверами стала с избытком выполнять одна железка supermicro sys-2027tr помещающаяся в 2u. Про разницу в потреблении питания и охлаждения, думаю, говорить не стоит.



IdeaFix написал:
[q]
1 корпус.
[/q]
Один любой корпус, который можно купить? Один любой существующий в наличии корпус? Один обязательно 1u корпус?
IdeaFix
Гость

Ссылка

easyjohn Мне всё более очевидно что Вам нечего сказать. У Вас определенно на этот счет иное мнение. Буду ли я Вас в чем-то убеждать?:) Едва ли...

P.S. Не рискнул использовать термин SAS (Server Attached Storage), использовал DAS, чтобы отсечь сеть. Смиритесь уже с тем что я слишком глуп чтобы сгенерировать вопрос под ответ, который у Вас есть :) Пройдите мимо.
Сейчас на форуме
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
Если бы под вашим первым вопросом не было ни одного ответа - разве не было бы гораздо грустнее?
Все равно больше никого нет, все спят, почему бы тогда и не поболтать ерундой?
IdeaFix
Гость

Ссылка

easyjohn
А я продолжаю пинать примокэш... в общем придумал реальные ситуации как его можно свалить. С одной стороны, эти ситуации можно обойти более точным ранжирвоанием/агрегацией ресурсов, с другой... блин, эта штука показывает реально замечательную производительность. У меня на домашней лабе 128GB памяти, если делать небольшой раздел с полным кэшированием (кстати, вмварь в себе эти вещи позволяет делать - ничему не мешает), результаты просто суперские получаются. При этом даже имея ssd кэш на датастор и не топовую, но и не фри лицензию на ESXi, такого не добиться штатными средствами.

В свете этого начинаю иначе смотреть на Intel Optane... жаль, что оно требует определённое поколение интеловской инфраструктуры. Остановить что ли лабу и вставить в неё старенький варпдрайв? Очень уж хочется посмотреть на то как многоуровневое кэширование работает и в ключе хост-записей на ссд (те же варпдрайвы достаточно быстро прогорают) и просто в целом... а так же хочется сравнить с UFS без рейда.

https://pp.userapi.com/c840228...GBGcyE.jpg
А вообще весело...
Сейчас на форуме
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
IdeaFix написал:
[q]
результаты просто суперские получаются.
[/q]
Надо бы сравнить с классикой, например с zfs или lvm+flashcache.


IdeaFix написал:
[q]
При этом даже имея ssd кэш на датастор и не топовую, но и не фри лицензию на ESXi, такого не добиться штатными средствами.
[/q]
У esxi, классически, все плохо с дисковыми подсистемами: как изначально было все заточено на сторонние датасторы, так до сих пор не продвинулось.
Сколько они уже со своим vsan пытаются что-то выжать, последний раз когда смотрел все было грустно.


IdeaFix написал:
[q]
иначе смотреть на Intel Optane
[/q]
Что только люди не делают, что бы не писать качественно софт.. :)


IdeaFix написал:
[q]
те же варпдрайвы достаточно быстро прогорают
[/q]
На сколько быстро?
В работе у меня emlc фирмы pny elite 240 по три года в качестве l2arc отрабатывали.
Дома, на файлопомойке, в качестве flashcache, под почти постоянными торентами - обычные ocz vertex2/3 до сих пор живы.

Записано 81 Тб данных, 5.8 лет в работе!
IdeaFix
Гость

Ссылка

easyjohn
Варпдрайвы обычно достаются уже и устаревшими и старыми. По сути это LSI 3G HBA и на той же плате четыре сандфорсовых SSD на 100Гб каждый. Когда это всё собрано в 0 и работает кэшем - всё в общем не плохо, но убогой аппаратной составляющей не отменяет. Мой варпдрайв годится только для тестов, в работу я его не рискну даже в домашнюю лабу. А SLC фирмы PNY это X25 в девичестве? Если да - не удивительно :)

По поводу ZFS - да, оно стильно-модно-молодёжно, но мне UFS ближе к телу в т.ч. на спарках, задачи снапшотить нет, а вот данные вытаскивать - порой есть. Жаль, что есть только NTFS :(

Оффтопик: Оффтопик: Кстати, у вмварей будущее наступило - гиперконвергенция. На крайнем emc/dell/vmware day в очередной раз рассказывали как это круто - откладывать кирпичи (to store a bricks). Сторонние хранилки от EMC - теперь не сторонние, но не исилоном единым. Теперь есть коробка, в ней и процы и память и диски. На уровне коробки это конфигурируется в HA ноду, а на уровне кластера DAS (SAS) коробок собирается в пятёрку! Так смешно когда спрашиваешь у лектора "а у вас tor коммутатор при перестройке или эвакуации данных кони не двигает?" а в ответ му-му... он ведь только что рассказывал как круто жить без SAN, но он понимает что все понимают что такое ребилд (или экспанд) датастора с таким уровнем абстракции....
Сейчас на форуме
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
IdeaFix написал:
[q]
А SLC фирмы PNY это X25 в девичестве? Если да - не удивительно
[/q]
Я ошибся сперва.
Это оказался eMLC, так что 10к циклов записи. Вот эти брали пачками.

IdeaFix написал:
[q]
По поводу ZFS - да, оно стильно-модно-молодёжно
[/q]
Я очень долго не хотел zfs. Но в какой-то момент сломался. Попробовал дома, попрбовал на работе в лабе. Постепенно вытащил на про.
Оно оказалось удобнее, чем обожаемый мной lvm.


IdeaFix написал:
[q]
а вот данные вытаскивать
[/q]
Ну, лучше до этого не доводить вобще.


IdeaFix написал:
[q]
Кстати, у вмварей будущее наступило - гиперконвергенция.
[/q]
Nutanix им на пятки наступил, вот и пришлось. Причем у нутаникса все работает с почти безлимитным масштабированием уже лет пять, а vmware только-только подтягивается, еще недавно больше 8 нод в vsan нельзя было добавить - это позор.


IdeaFix написал:
[q]
понимает что все понимают что такое ребилд (или экспанд) датастора с таким уровнем абстракции....
[/q]
В хорошей гиперконвергентности - оно такое, терпимое - вполне себе lazy ребилд, который можно сутками тянуть, никого особо не напрягая.
Плюс стараются одну копию данных держать на той же ноде, где и compute запущен.
<<Назад  Вперед>> Страницы: 1 2
Печать
Полигон-2 »   Технический флейм »   Выбор ПО для кэширования дисковых операций в Windows
RSS

0 посетителей просмотрели эту тему за последние 15 минут
В том числе: 0 гостей, 0 скрытых пользователей

Последние RSS
[Москва] LIQUID-Акция. Сливаются разъемы CF
МС7004 и 7004А на AT и XT
Пайка термотрубок
Проммать s478 PEAK 715VL2-HT ( Full-Size SBC)
Подскажите по 386 материке по джамперам.

Самые активные 5 тем RSS