Объявление форума |
Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС. |
Полигон-2 » Технический флейм » Выбор ПО для кэширования дисковых операций в Windows |
<<Назад Вперед>> | Страницы: 1 * 2 | Печать |
easyjohn
Advanced Member
Откуда: SPb Всего сообщений: 3381 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 7 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 1 января 2018 21:01 Сообщение отредактировано: 1 января 2018 21:02
IdeaFix написал: Есть некоторая разница между "не смог" и "знаю, но не рекомендую и не буду поддерживать такое решение", не так ли? А других способов кроме как пойти к руководителю проекта и сказать "я не смог" нет? IdeaFix написал: Так чуть лучше, чем какое-то "выжирает очередь". Чтение - метр в секунду, запись - да нет её, а читать не успевает. Ибо характер чтения идиотский... Железо можно добавлять/менять? Sas/raid какой(нибудь) сейчас стоит? IdeaFix написал: Как можно было узнать мой опыт по паре писем? У Вас бесспорно есть опыт решения каких-то других задач, но он тут не применим. IdeaFix написал: Обычное random чтение. Дебаг показывает что эта штука хочет читать одномоментно 5-15 тысяч мелких файликов... Хорошо известно чем лечится. IdeaFix написал: Я пробовал. рамдрайв на цифс говорите? Пусть это попробует кто-то другой. |
IdeaFix |
NEW! Сообщение отправлено: 1 января 2018 21:31
easyjohn Какой-нибудь raid я пробовал. Конкретно пробовал хост 71685 и шестерку на 8 дисков 7.2K, знаете, по обычному рандом чтению этот массив оказался на удивление похож на быстрый одиночный диск Ну и порядков на несколько (так же как обычный диск) отстал от SSD. Но, это очевидно. На продакшене мне нужно абстрагироваться от конкретного железа. Точно есть Windows, точно есть DAS, точно нужно решать проблему в рамках одного корпуса и видимо только кэшировать. Ибо объёмы уже тяжеловаты для рамдрайва (столько памяти просто нет), а делать ha ramdrive даже имея топовые медные сети и достаточный объём памяти - отдельная задача. Для побаловаться можно наделать каких угодно велосипедов, для побаловаться можно и на 286 под дос вебсервер поднять и хвастаться аптаймом (вот), но мне нужно что-то коробочное и что-то гарантированно рабочее. Что я пока полнял: 1. Windows не имеет встроенных механизмов для решения этой задачи (хотя HyperV при этом умеет ssd cache датастора!). 2. Не хочу связываться с наколеночными решениями на базе legacy hardware. Если уж использовать старое (ну как старое, 2*771 8 core 32gb ram) старое железо, то хоть с вменяемым софтом. Там реально много условий и можно сколь угодно долго обвинять меня в том что задача не понятна, но необходимые условия - wondows; das; 1 корпус. |
Сейчас на форуме |
easyjohn
Advanced Member
Откуда: SPb Всего сообщений: 3381 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 7 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 2 января 2018 0:29 Сообщение отредактировано: 2 января 2018 0:41
IdeaFix написал: Какой попало - не показатель. Какой-нибудь raid я пробовал. IdeaFix написал: Эх... "Как взять неплохое железо и сделать на нем ... плохо". пробовал хост 71685 и шестерку на 8 дисков 7.2K IdeaFix написал: BBU была установлена? Режим кеширования какой стоял? по обычному рандом чтению этот массив оказался на удивление похож на быстрый одиночный диск IdeaFix написал: Опять непонятно. Если "нужно обстрагироваться от железа" - заказывай виртуалки с заранее заданной пропускной. Почти все публичные облака имеют варианты виртуалок или с ссд, или с подключеним сторов с лимитом по iops. Зачем вообще тогда этот топик? На продакшене мне нужно абстрагироваться от конкретного железа. IdeaFix написал: Стоп, оказывается уже две железки есть? Что за контроллер на das? какой шиной подключен к машине с виндой? Точно есть Windows, точно есть DAS IdeaFix написал: На "legacy hardware" все решения будут "наколеночными". Не хочу связываться с наколеночными решениями на базе legacy hardware. IdeaFix написал: Очень старое. Срок жизни железа в IT - 3 года. Такие "сервера" мы выкидывали примерно пять лет назад, как отработавшие срок, к которым нет ни поддержки, ни запасных частей в продаже (очевидно, что не на вторичке). старое (ну как старое, 2*771 8 core 32gb ram) Что характерно, всю нагрузку, выполняемую каждыми ~15-20 такими серверами стала с избытком выполнять одна железка supermicro sys-2027tr помещающаяся в 2u. Про разницу в потреблении питания и охлаждения, думаю, говорить не стоит. IdeaFix написал: Один любой корпус, который можно купить? Один любой существующий в наличии корпус? Один обязательно 1u корпус? 1 корпус. |
IdeaFix |
NEW! Сообщение отправлено: 2 января 2018 0:54
easyjohn Мне всё более очевидно что Вам нечего сказать. У Вас определенно на этот счет иное мнение. Буду ли я Вас в чем-то убеждать? Едва ли... P.S. Не рискнул использовать термин SAS (Server Attached Storage), использовал DAS, чтобы отсечь сеть. Смиритесь уже с тем что я слишком глуп чтобы сгенерировать вопрос под ответ, который у Вас есть Пройдите мимо. |
Сейчас на форуме |
easyjohn
Advanced Member
Откуда: SPb Всего сообщений: 3381 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 7 апр. 2008 |
Если бы под вашим первым вопросом не было ни одного ответа - разве не было бы гораздо грустнее? Все равно больше никого нет, все спят, почему бы тогда и не поболтать ерундой? |
IdeaFix |
NEW! Сообщение отправлено: 2 января 2018 1:48
easyjohn А я продолжаю пинать примокэш... в общем придумал реальные ситуации как его можно свалить. С одной стороны, эти ситуации можно обойти более точным ранжирвоанием/агрегацией ресурсов, с другой... блин, эта штука показывает реально замечательную производительность. У меня на домашней лабе 128GB памяти, если делать небольшой раздел с полным кэшированием (кстати, вмварь в себе эти вещи позволяет делать - ничему не мешает), результаты просто суперские получаются. При этом даже имея ssd кэш на датастор и не топовую, но и не фри лицензию на ESXi, такого не добиться штатными средствами. В свете этого начинаю иначе смотреть на Intel Optane... жаль, что оно требует определённое поколение интеловской инфраструктуры. Остановить что ли лабу и вставить в неё старенький варпдрайв? Очень уж хочется посмотреть на то как многоуровневое кэширование работает и в ключе хост-записей на ссд (те же варпдрайвы достаточно быстро прогорают) и просто в целом... а так же хочется сравнить с UFS без рейда. https://pp.userapi.com/c840228...GBGcyE.jpg А вообще весело... |
Сейчас на форуме |
easyjohn
Advanced Member
Откуда: SPb Всего сообщений: 3381 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 7 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 2 января 2018 2:24 Сообщение отредактировано: 2 января 2018 2:30
IdeaFix написал: Надо бы сравнить с классикой, например с zfs или lvm+flashcache. результаты просто суперские получаются. IdeaFix написал: У esxi, классически, все плохо с дисковыми подсистемами: как изначально было все заточено на сторонние датасторы, так до сих пор не продвинулось. При этом даже имея ssd кэш на датастор и не топовую, но и не фри лицензию на ESXi, такого не добиться штатными средствами. Сколько они уже со своим vsan пытаются что-то выжать, последний раз когда смотрел все было грустно. IdeaFix написал: Что только люди не делают, что бы не писать качественно софт.. иначе смотреть на Intel Optane IdeaFix написал: На сколько быстро? те же варпдрайвы достаточно быстро прогорают В работе у меня emlc фирмы pny elite 240 по три года в качестве l2arc отрабатывали. Дома, на файлопомойке, в качестве flashcache, под почти постоянными торентами - обычные ocz vertex2/3 до сих пор живы. Записано 81 Тб данных, 5.8 лет в работе! |
IdeaFix |
NEW! Сообщение отправлено: 2 января 2018 2:45 Сообщение отредактировано: 2 января 2018 2:47
easyjohn Варпдрайвы обычно достаются уже и устаревшими и старыми. По сути это LSI 3G HBA и на той же плате четыре сандфорсовых SSD на 100Гб каждый. Когда это всё собрано в 0 и работает кэшем - всё в общем не плохо, но убогой аппаратной составляющей не отменяет. Мой варпдрайв годится только для тестов, в работу я его не рискну даже в домашнюю лабу. А SLC фирмы PNY это X25 в девичестве? Если да - не удивительно По поводу ZFS - да, оно стильно-модно-молодёжно, но мне UFS ближе к телу в т.ч. на спарках, задачи снапшотить нет, а вот данные вытаскивать - порой есть. Жаль, что есть только NTFS Оффтопик: Оффтопик: Кстати, у вмварей будущее наступило - гиперконвергенция. На крайнем emc/dell/vmware day в очередной раз рассказывали как это круто - откладывать кирпичи (to store a bricks). Сторонние хранилки от EMC - теперь не сторонние, но не исилоном единым. Теперь есть коробка, в ней и процы и память и диски. На уровне коробки это конфигурируется в HA ноду, а на уровне кластера DAS (SAS) коробок собирается в пятёрку! Так смешно когда спрашиваешь у лектора "а у вас tor коммутатор при перестройке или эвакуации данных кони не двигает?" а в ответ му-му... он ведь только что рассказывал как круто жить без SAN, но он понимает что все понимают что такое ребилд (или экспанд) датастора с таким уровнем абстракции.... |
Сейчас на форуме |
easyjohn
Advanced Member
Откуда: SPb Всего сообщений: 3381 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 7 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 2 января 2018 2:58 Сообщение отредактировано: 2 января 2018 3:06
IdeaFix написал: Я ошибся сперва. А SLC фирмы PNY это X25 в девичестве? Если да - не удивительно Это оказался eMLC, так что 10к циклов записи. Вот эти брали пачками. IdeaFix написал: Я очень долго не хотел zfs. Но в какой-то момент сломался. Попробовал дома, попрбовал на работе в лабе. Постепенно вытащил на про. По поводу ZFS - да, оно стильно-модно-молодёжно Оно оказалось удобнее, чем обожаемый мной lvm. IdeaFix написал: Ну, лучше до этого не доводить вобще. а вот данные вытаскивать IdeaFix написал: Nutanix им на пятки наступил, вот и пришлось. Причем у нутаникса все работает с почти безлимитным масштабированием уже лет пять, а vmware только-только подтягивается, еще недавно больше 8 нод в vsan нельзя было добавить - это позор. Кстати, у вмварей будущее наступило - гиперконвергенция. IdeaFix написал: В хорошей гиперконвергентности - оно такое, терпимое - вполне себе lazy ребилд, который можно сутками тянуть, никого особо не напрягая. понимает что все понимают что такое ребилд (или экспанд) датастора с таким уровнем абстракции.... Плюс стараются одну копию данных держать на той же ноде, где и compute запущен. |
<<Назад Вперед>> | Страницы: 1 * 2 | Печать |
Полигон-2 » Технический флейм » Выбор ПО для кэширования дисковых операций в Windows |
1 посетитель просмотрел эту тему за последние 15 минут |
В том числе: 1 гость, 0 скрытых пользователей |
Последние | |
[Москва] LIQUID-Акция. Сливаются разъемы CF МС7004 и 7004А на AT и XT Пайка термотрубок Проммать s478 PEAK 715VL2-HT ( Full-Size SBC) Подскажите по 386 материке по джамперам. |
Самые активные 5 тем | |