Объявление форума |
Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС. |
Полигон-2 » Флейм на общие темы » Аналог WebArchive для FTP |
<<Назад Вперед>> | Страницы: 1 * 2 | Печать |
Fe-Restorator |
Сообщение отправлено: 17 августа 2015 2:03 Сообщение отредактировано: 17 августа 2015 11:53
Можешь заниматься кешированием самостоятельно. Прога зовётся FTPInfo. Заодно будешь периодически отслеживать изменения на фтп-шниках... Если помойка крупная, на её опрос уходит много времени, тут ничего не попишешь... После опроса прога умеет выкачивать фтп-шник подчистую, в дальнейшем - докачивать разницу. Да, готовь винч на 16 терабайт, я тут попытался повыкачивать, помойка на 5Тб попалась, тож нечто вроде кеша сразу нескольких серваков... Пришлось признать поражение, столько свободного места у меня нет. Раньше (лет 20 назад) мечтал повыкачать все серваки, рассортировать содержимое и выложить единым серваком... Хе, трудоёмкость процедуры сортировки отпугнула почти сразу. |
Сейчас на форуме |
Andrei88
Advanced Member
Откуда: Пермская обл. г.Пермь Всего сообщений: 419 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 апр. 2008 |
То есть натравливаем эту программу на еще живой сервер и он делает слепок на жесткий? |
uav1606
Advanced Member
Откуда: Енакиево Всего сообщений: 4373 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 16 янв. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 17 августа 2015 10:44 Сообщение отредактировано: 17 августа 2015 10:53
Ещё StrannikRiddler у себя копии некоторых FTP'шников выкладывал: ftp://176.107.241.42/public/FTP/ Но там пока всего восемь штук. |
Fe-Restorator |
NEW! Сообщение отправлено: 17 августа 2015 11:40 Сообщение отредактировано: 17 августа 2015 11:52
Andrei88 написал: Натравливаем сразу на десяток серваков и прога их сканит, одновременно все (или скока запустишь...) заводит на каждый свою "БД", мол "чо там де есмь". Ждём, долго ждём. То есть натравливаем эту программу на еще живой сервер и он делает слепок на жесткий? Далее пускаем прожкин "менажёр файлов" и выбираем, что именно и с которого сервака утянуть, куды поскладать. Листинг прога составит сама и запомнит его. Далее пускаем прожкин менажёр закачек и уезжаем на выходные на дачу. Чем больше серваков и длиннее листинг - тем дольше не возвращаемся с дачи. Управление у прожки весьма сумбурное, по-умолчанию все серваки сливает в одну папку, получается каша. Хоть "БД" и отдельные, обновки отслеживаются индивидуально для каждого сервака, но разгребать кашу вручную - не комильфо. Посему, прежде чем сканить сервак, создай для него профиль и группу, в обоих укажи папку закачки. Теперь файло сервака польётся именно в эту папку. Рекомендуется на корне диска ("D:\") создать папку "F", из одной буквы, в ней подпапку %ServerName%, и именно сей путь "D:\F\%ServerName%" указать в профиле и в группе. Файлов на серваках много, длина их имён заранее не ограничена, есть вероятность "переполнения полного имени файла", оттого и короткие имена служебных папок. Прога ведёт листинг ошибок скачки, можно проверить, "чо не влезло, куда и каким углом". PS. Прожка оченно туго работает с крупными листингами, порой изображает двухчасовое подвисание (междумордие висит и ни на что не реагирует), но скачка/опрос идут не прерываясь. Скроллинг листинга во время скачки == "подвис междумордия". Через время - отвисает, самостоятельно. Вариантов замены прожки не обнаружил, никто более не отслеживает изменения сразу на сотне-другой серваков... |
Сейчас на форуме |
Andrei88
Advanced Member
Откуда: Пермская обл. г.Пермь Всего сообщений: 419 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 апр. 2008 |
То, есть каталожная структура сохраняется только в базе данных, но не в структуре каталогов? Или все же каталожная структура тоже будет? А можно ее натравить на определенный каталог на сервере? |
Fe-Restorator |
NEW! Сообщение отправлено: 17 августа 2015 14:35 Сообщение отредактировано: 17 августа 2015 14:54
Неправильно понимаешь. БД со структурой сервака отделена от скачиваемого контента, это разные папки и разные вещи: 1) БД нужна для сравнения нового опроса со старым и выявления изменений. Только. Проще сравнить два текстовых файла и подчеркнуть разные слова, чем ворошить весь шмурдяк на винче, тем паче - сетевом, подключённым через модем на 1200 бод... (Твой инет может и оптический, а на чем подвешен сервер - заранее неизвестно.) БД всегда формируется раньше, чем выполняется закачка и хоть какое-нть файло упадёт тебе на винч. 2) Папка выкачанного нужна для складирования в ней шмурдяка на локальном винче. В ней сохраняется файловая структура - копия таковой на серваке, она-же копия таковой в БД самой проги. Впрочем, есть настройка "не сохранять полную ф/с сервака", можешь воспользоваться. Актуально для музыкальных свалок: качаешь всё подряд в папку "музыка" потом сортируешь/убиваешь дубли. Структура папок-альбомов сохраняется, но теряется её привязанность к корню фс сервака (и к БД проги). Преимущество: одинаковые песни, взятые с разных серваков аккуратно складываются в единую тематическую базу и уже там обрабатываются. Тож и с фотками, книгами, даташитами. Недостаток - ты уже не знаешь, откуда пестню/книгу/даташит выкачал, отследить изменения невозможно. Анархия полезна только до определённого предела... Профили и группы созданы не случайно - это механизм полуавтоматической фильтрации скачанного, по типу файлов. Чтобы выкачать ВЕСЬ сервак (тупо копия-образ), указываешь в группе тип *.*, чтобы только музыку - *.wav, ну и так далее... И локальные папки соответствующие назначаешь. Я говорил об каше, когда содержимое (файловые структуры) всех серваков валится в одну папку, становится потом неразделимым (слишком трудоёмко). Посему, для каждого сервака и нужно оформить свой профиль и группу, фс не смешается с таковой других серваков. ЕМНИП, пофиг что выкачивать, хоть весь сервак, хоть одну папку. ФС сохранится в обоих случаях. Выкачиваемое напрямую задаётся в "менеджере файлов", т.е. зришь созданную БД сервака и по ней выбираешь "чо качать", прога создаёт лист закачки. Единственный нюанс: из-за тупости интерфейса лучше заранее подготовить ВСЕ списки закачки для всех серваков и потом запустить сам процесс, для всех этих серваков. |
Сейчас на форуме |
Andrei88
Advanced Member
Откуда: Пермская обл. г.Пермь Всего сообщений: 419 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 17 августа 2015 20:41 Сообщение отредактировано: 17 августа 2015 20:42
Fe-Restorator: Спасибо! В ближайшее время программу попробую! uav1606: Последний сервер посмотрел - похоже уже кто-то из российских сборку делал :-) |
uav1606
Advanced Member
Откуда: Енакиево Всего сообщений: 4373 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 16 янв. 2008 |
Вы про ftp://176.107.241.42/ ? Это FTP-шник old-dos.ru, там у них ещё тема про него есть: http://forum.old-dos.ru/viewtopic.php?f=11&t=552 Кто конкретно туда оффлайн-копии других FTP кидал - не знаю, но думаю, что StrannikRiddler. |
Andrei88
Advanced Member
Откуда: Пермская обл. г.Пермь Всего сообщений: 419 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 апр. 2008 |
Ну, что сказать - респект и уважуха :-) |
Fe-Restorator |
NEW! Сообщение отправлено: 18 августа 2015 3:20 Сообщение отредактировано: 18 августа 2015 3:20
Andrei88 написал: Вода мокрая. Масло масляное. Форумчане неграмотные. респект и уважуха |
Сейчас на форуме |
<<Назад Вперед>> | Страницы: 1 * 2 | Печать |
Полигон-2 » Флейм на общие темы » Аналог WebArchive для FTP |
1 посетитель просмотрел эту тему за последние 15 минут |
В том числе: 1 гость, 0 скрытых пользователей |
Последние | |
[Москва] LIQUID-Акция. Сливаются разъемы CF МС7004 и 7004А на AT и XT Пайка термотрубок Проммать s478 PEAK 715VL2-HT ( Full-Size SBC) Подскажите по 386 материке по джамперам. |
Самые активные 5 тем | |