Объявление форума |
Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС. |
Полигон-2 » Флейм на общие темы » Аналог WebArchive для FTP |
<<Назад Вперед>> | Страницы: 1 * 2 | Печать |
uav1606
Advanced Member
Откуда: Енакиево Всего сообщений: 4373 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 16 янв. 2008 |
Что-то ничего такого же масштабного, как Web Archive, не нашлось. Вот, к примеру: ftp://ftp.mirrorservice.org/sites/ Но там что-то не очень много всего... |
Andrei88
Advanced Member
Откуда: Пермская обл. г.Пермь Всего сообщений: 419 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 16 августа 2015 18:59 Сообщение отредактировано: 16 августа 2015 19:03
Спасибо, сейчас глянем, что есть на сервере. Самое интересное, что, видимо, структуру каталогов и списки файлов поисковики кэшируют - тот же "Мамонт" выплевывает ссылки на файлы, которых уже, возможно нету, как и серверов, но сами файлики похоже не кэшировались. На серевере, такое ощущение, сохранили содержимое FTP-шников открытых проектов, хотя, funet.fi, вроде, и по downgrade-тематике проскакивал |
uav1606
Advanced Member
Откуда: Енакиево Всего сообщений: 4373 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 16 янв. 2008 |
Маловато там как-то всего... Но кое-что интересное попадается, вот, к примеру: ftp://ftp.mirrorservice.org/sites/ftp.cdrom.com/pub/cdrom/ Какой-то FTP по CD-ROM'ам, в "реале" уже недоступен. |
Andrei88
Advanced Member
Откуда: Пермская обл. г.Пермь Всего сообщений: 419 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 апр. 2008 |
Ха, а вот этот уже интересен - что-то про него читал в старой "Новейшей энциклопедии" :-) |
Fe-Restorator |
NEW! Сообщение отправлено: 17 августа 2015 2:03 Сообщение отредактировано: 17 августа 2015 11:53
Можешь заниматься кешированием самостоятельно. Прога зовётся FTPInfo. Заодно будешь периодически отслеживать изменения на фтп-шниках... Если помойка крупная, на её опрос уходит много времени, тут ничего не попишешь... После опроса прога умеет выкачивать фтп-шник подчистую, в дальнейшем - докачивать разницу. Да, готовь винч на 16 терабайт, я тут попытался повыкачивать, помойка на 5Тб попалась, тож нечто вроде кеша сразу нескольких серваков... Пришлось признать поражение, столько свободного места у меня нет. Раньше (лет 20 назад) мечтал повыкачать все серваки, рассортировать содержимое и выложить единым серваком... Хе, трудоёмкость процедуры сортировки отпугнула почти сразу. |
Сейчас на форуме |
Andrei88
Advanced Member
Откуда: Пермская обл. г.Пермь Всего сообщений: 419 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 апр. 2008 |
То есть натравливаем эту программу на еще живой сервер и он делает слепок на жесткий? |
uav1606
Advanced Member
Откуда: Енакиево Всего сообщений: 4373 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 16 янв. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 17 августа 2015 10:44 Сообщение отредактировано: 17 августа 2015 10:53
Ещё StrannikRiddler у себя копии некоторых FTP'шников выкладывал: ftp://176.107.241.42/public/FTP/ Но там пока всего восемь штук. |
Fe-Restorator |
NEW! Сообщение отправлено: 17 августа 2015 11:40 Сообщение отредактировано: 17 августа 2015 11:52
Andrei88 написал: Натравливаем сразу на десяток серваков и прога их сканит, одновременно все (или скока запустишь...) заводит на каждый свою "БД", мол "чо там де есмь". Ждём, долго ждём. То есть натравливаем эту программу на еще живой сервер и он делает слепок на жесткий? Далее пускаем прожкин "менажёр файлов" и выбираем, что именно и с которого сервака утянуть, куды поскладать. Листинг прога составит сама и запомнит его. Далее пускаем прожкин менажёр закачек и уезжаем на выходные на дачу. Чем больше серваков и длиннее листинг - тем дольше не возвращаемся с дачи. Управление у прожки весьма сумбурное, по-умолчанию все серваки сливает в одну папку, получается каша. Хоть "БД" и отдельные, обновки отслеживаются индивидуально для каждого сервака, но разгребать кашу вручную - не комильфо. Посему, прежде чем сканить сервак, создай для него профиль и группу, в обоих укажи папку закачки. Теперь файло сервака польётся именно в эту папку. Рекомендуется на корне диска ("D:\") создать папку "F", из одной буквы, в ней подпапку %ServerName%, и именно сей путь "D:\F\%ServerName%" указать в профиле и в группе. Файлов на серваках много, длина их имён заранее не ограничена, есть вероятность "переполнения полного имени файла", оттого и короткие имена служебных папок. Прога ведёт листинг ошибок скачки, можно проверить, "чо не влезло, куда и каким углом". PS. Прожка оченно туго работает с крупными листингами, порой изображает двухчасовое подвисание (междумордие висит и ни на что не реагирует), но скачка/опрос идут не прерываясь. Скроллинг листинга во время скачки == "подвис междумордия". Через время - отвисает, самостоятельно. Вариантов замены прожки не обнаружил, никто более не отслеживает изменения сразу на сотне-другой серваков... |
Сейчас на форуме |
Andrei88
Advanced Member
Откуда: Пермская обл. г.Пермь Всего сообщений: 419 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 апр. 2008 |
То, есть каталожная структура сохраняется только в базе данных, но не в структуре каталогов? Или все же каталожная структура тоже будет? А можно ее натравить на определенный каталог на сервере? |
Fe-Restorator |
NEW! Сообщение отправлено: 17 августа 2015 14:35 Сообщение отредактировано: 17 августа 2015 14:54
Неправильно понимаешь. БД со структурой сервака отделена от скачиваемого контента, это разные папки и разные вещи: 1) БД нужна для сравнения нового опроса со старым и выявления изменений. Только. Проще сравнить два текстовых файла и подчеркнуть разные слова, чем ворошить весь шмурдяк на винче, тем паче - сетевом, подключённым через модем на 1200 бод... (Твой инет может и оптический, а на чем подвешен сервер - заранее неизвестно.) БД всегда формируется раньше, чем выполняется закачка и хоть какое-нть файло упадёт тебе на винч. 2) Папка выкачанного нужна для складирования в ней шмурдяка на локальном винче. В ней сохраняется файловая структура - копия таковой на серваке, она-же копия таковой в БД самой проги. Впрочем, есть настройка "не сохранять полную ф/с сервака", можешь воспользоваться. Актуально для музыкальных свалок: качаешь всё подряд в папку "музыка" потом сортируешь/убиваешь дубли. Структура папок-альбомов сохраняется, но теряется её привязанность к корню фс сервака (и к БД проги). Преимущество: одинаковые песни, взятые с разных серваков аккуратно складываются в единую тематическую базу и уже там обрабатываются. Тож и с фотками, книгами, даташитами. Недостаток - ты уже не знаешь, откуда пестню/книгу/даташит выкачал, отследить изменения невозможно. Анархия полезна только до определённого предела... Профили и группы созданы не случайно - это механизм полуавтоматической фильтрации скачанного, по типу файлов. Чтобы выкачать ВЕСЬ сервак (тупо копия-образ), указываешь в группе тип *.*, чтобы только музыку - *.wav, ну и так далее... И локальные папки соответствующие назначаешь. Я говорил об каше, когда содержимое (файловые структуры) всех серваков валится в одну папку, становится потом неразделимым (слишком трудоёмко). Посему, для каждого сервака и нужно оформить свой профиль и группу, фс не смешается с таковой других серваков. ЕМНИП, пофиг что выкачивать, хоть весь сервак, хоть одну папку. ФС сохранится в обоих случаях. Выкачиваемое напрямую задаётся в "менеджере файлов", т.е. зришь созданную БД сервака и по ней выбираешь "чо качать", прога создаёт лист закачки. Единственный нюанс: из-за тупости интерфейса лучше заранее подготовить ВСЕ списки закачки для всех серваков и потом запустить сам процесс, для всех этих серваков. |
Сейчас на форуме |
<<Назад Вперед>> | Страницы: 1 * 2 | Печать |
Полигон-2 » Флейм на общие темы » Аналог WebArchive для FTP |
1 посетитель просмотрел эту тему за последние 15 минут |
В том числе: 1 гость, 0 скрытых пользователей |
Последние | |
[Москва] LIQUID-Акция. Сливаются разъемы CF МС7004 и 7004А на AT и XT Пайка термотрубок Проммать s478 PEAK 715VL2-HT ( Full-Size SBC) Подскажите по 386 материке по джамперам. |
Самые активные 5 тем | |