Объявление форума |
Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС. |
Полигон-2 » Флейм на общие темы » Аналог WebArchive для FTP |
<<Назад Вперед>> | Страницы: 1 2 | Печать |
Andrei88
Advanced Member
Откуда: Пермская обл. г.Пермь Всего сообщений: 419 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 апр. 2008 |
Добрый вечер! Возник давненько такой вопрос: вот есть система кэширования web-страниц - WebArchive + системы кэширования поисковиков, GoogleGroups как-то получило доступ к телеконференциям - и ньюзгруппам, и фидошным, в том числе и к эхам на территории exUSSR.. А вот есть ли такой же кэш для FTP-серверов? Ну понятно, что большие файлы кэшировать - много места уйдет, но мелочевку не более 5-10 Мб за один файлик, впринципе, думаю, можно. Может быть, уже есть ресурс, предоставляющий доступ к снятым слепкам FTP-серверов, а я и не знаю? С уважением Шаронов Андрей |
uav1606
Advanced Member
Откуда: Енакиево Всего сообщений: 4373 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 16 янв. 2008 |
Что-то ничего такого же масштабного, как Web Archive, не нашлось. Вот, к примеру: ftp://ftp.mirrorservice.org/sites/ Но там что-то не очень много всего... |
Andrei88
Advanced Member
Откуда: Пермская обл. г.Пермь Всего сообщений: 419 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 16 августа 2015 18:59 Сообщение отредактировано: 16 августа 2015 19:03
Спасибо, сейчас глянем, что есть на сервере. Самое интересное, что, видимо, структуру каталогов и списки файлов поисковики кэшируют - тот же "Мамонт" выплевывает ссылки на файлы, которых уже, возможно нету, как и серверов, но сами файлики похоже не кэшировались. На серевере, такое ощущение, сохранили содержимое FTP-шников открытых проектов, хотя, funet.fi, вроде, и по downgrade-тематике проскакивал |
uav1606
Advanced Member
Откуда: Енакиево Всего сообщений: 4373 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 16 янв. 2008 |
Маловато там как-то всего... Но кое-что интересное попадается, вот, к примеру: ftp://ftp.mirrorservice.org/sites/ftp.cdrom.com/pub/cdrom/ Какой-то FTP по CD-ROM'ам, в "реале" уже недоступен. |
Andrei88
Advanced Member
Откуда: Пермская обл. г.Пермь Всего сообщений: 419 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 апр. 2008 |
Ха, а вот этот уже интересен - что-то про него читал в старой "Новейшей энциклопедии" :-) |
Fe-Restorator |
NEW! Сообщение отправлено: 17 августа 2015 2:03 Сообщение отредактировано: 17 августа 2015 11:53
Можешь заниматься кешированием самостоятельно. Прога зовётся FTPInfo. Заодно будешь периодически отслеживать изменения на фтп-шниках... Если помойка крупная, на её опрос уходит много времени, тут ничего не попишешь... После опроса прога умеет выкачивать фтп-шник подчистую, в дальнейшем - докачивать разницу. Да, готовь винч на 16 терабайт, я тут попытался повыкачивать, помойка на 5Тб попалась, тож нечто вроде кеша сразу нескольких серваков... Пришлось признать поражение, столько свободного места у меня нет. Раньше (лет 20 назад) мечтал повыкачать все серваки, рассортировать содержимое и выложить единым серваком... Хе, трудоёмкость процедуры сортировки отпугнула почти сразу. |
Сейчас на форуме |
Andrei88
Advanced Member
Откуда: Пермская обл. г.Пермь Всего сообщений: 419 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 апр. 2008 |
То есть натравливаем эту программу на еще живой сервер и он делает слепок на жесткий? |
uav1606
Advanced Member
Откуда: Енакиево Всего сообщений: 4373 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 16 янв. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 17 августа 2015 10:44 Сообщение отредактировано: 17 августа 2015 10:53
Ещё StrannikRiddler у себя копии некоторых FTP'шников выкладывал: ftp://176.107.241.42/public/FTP/ Но там пока всего восемь штук. |
Fe-Restorator |
NEW! Сообщение отправлено: 17 августа 2015 11:40 Сообщение отредактировано: 17 августа 2015 11:52
Andrei88 написал: Натравливаем сразу на десяток серваков и прога их сканит, одновременно все (или скока запустишь...) заводит на каждый свою "БД", мол "чо там де есмь". Ждём, долго ждём. То есть натравливаем эту программу на еще живой сервер и он делает слепок на жесткий? Далее пускаем прожкин "менажёр файлов" и выбираем, что именно и с которого сервака утянуть, куды поскладать. Листинг прога составит сама и запомнит его. Далее пускаем прожкин менажёр закачек и уезжаем на выходные на дачу. Чем больше серваков и длиннее листинг - тем дольше не возвращаемся с дачи. Управление у прожки весьма сумбурное, по-умолчанию все серваки сливает в одну папку, получается каша. Хоть "БД" и отдельные, обновки отслеживаются индивидуально для каждого сервака, но разгребать кашу вручную - не комильфо. Посему, прежде чем сканить сервак, создай для него профиль и группу, в обоих укажи папку закачки. Теперь файло сервака польётся именно в эту папку. Рекомендуется на корне диска ("D:\") создать папку "F", из одной буквы, в ней подпапку %ServerName%, и именно сей путь "D:\F\%ServerName%" указать в профиле и в группе. Файлов на серваках много, длина их имён заранее не ограничена, есть вероятность "переполнения полного имени файла", оттого и короткие имена служебных папок. Прога ведёт листинг ошибок скачки, можно проверить, "чо не влезло, куда и каким углом". PS. Прожка оченно туго работает с крупными листингами, порой изображает двухчасовое подвисание (междумордие висит и ни на что не реагирует), но скачка/опрос идут не прерываясь. Скроллинг листинга во время скачки == "подвис междумордия". Через время - отвисает, самостоятельно. Вариантов замены прожки не обнаружил, никто более не отслеживает изменения сразу на сотне-другой серваков... |
Сейчас на форуме |
Andrei88
Advanced Member
Откуда: Пермская обл. г.Пермь Всего сообщений: 419 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 апр. 2008 |
То, есть каталожная структура сохраняется только в базе данных, но не в структуре каталогов? Или все же каталожная структура тоже будет? А можно ее натравить на определенный каталог на сервере? |
<<Назад Вперед>> | Страницы: 1 2 | Печать |
Полигон-2 » Флейм на общие темы » Аналог WebArchive для FTP |
1 посетитель просмотрел эту тему за последние 15 минут |
В том числе: 1 гость, 0 скрытых пользователей |
Последние | |
[Москва] LIQUID-Акция. Сливаются разъемы CF МС7004 и 7004А на AT и XT Пайка термотрубок Проммать s478 PEAK 715VL2-HT ( Full-Size SBC) Подскажите по 386 материке по джамперам. |
Самые активные 5 тем | |