Полигон-2

круто

отвечу по пунктам
1. на экран выводится первые 99 результатов по убыванию релевантности
скоро прикручу листалку как на гугле, просто руки не дошли.
[если тут есть крутой дизайнер, который готов выдрать куски оформления с гугла или дадака - велкам в личку, помощь будет в тему]

2. касаемо index.htm и прочих - поясняю, индексация идет по имени файла и пути к нему
тк на сервере куча зеркал различных живых и уже мертвых сайтов и ftp-шников
начиная от хюлетовского ftp - кончая подборками технической литературы

технически поиск можно усложнить добавить типы файлов (те при сканировании файлов в базу положены mime types всех файлов)

3. это поисковик по моему архиву http://mirrors.pdp-11.ru/ и только, т.е. задачи индексировать весь инет нет и не будет, тк сегодня сайт есть, а завтра уже нет.
соответственно методика наполнения простая - нашел интересное, закачал, по возможности классифицировал в нужную директорию
и сейчас к этому добавилась фишка индексирования.

Однако, если есть желание помогать, то это очень хорошо, тк множество сайтов надо разобрать и разложить
http://mirrors.pdp-11.ru/_misc/ftp.sunet.se/pub/os/
явно надо раскидать по операционкам

На счет БД и описания - можно сделать интерфейс к БД и дать доступ по типу вики
для прикрепления описаний к директориям или файлам. Можно начать с малого - редактирование тегов.

4. это не попытка, это уже самый большой архив из существующих

upd: немного дополнил архив - сейчас в нем
6'006'399 файлов 4'498 ГБ

SokilOff написал:

[q]

Самый большой из существующих - это archive.org

[/q]

web.archive.org безусловно очень серьезный проект, но у них совсем другое направление и другая задача - это не сколько сохранение информации (попробуйте провалится в глубину сайта в архиве - как правило пусто) сколько сохранение внешнего вида сайтов.

я же ставлю задачу сохранения информации целиком, без ориентировки на сохранение оформления.
те по сути близкие по духу проекты это http://bitsavers.informatik.uni-stuttgart.de/ , DECUS итд итп
причем последний, вообще не индексируется поисковиками тк их дурные антивирусные системы находят там опасные вирусы (!)

SokilOff написал:

[q]

archive.org - это намного больше, чем просто web.archive.org
В тамошних разделах shareware CD-ROMs и Community Software вагон и маленькая тележка ретро- и современного вареза. И как раз ретро - наша тема.

[/q]

согласен, там много чего есть. но вот по моим основным направлениям - DEC: VAX PDP-11 итд очень мало

вообще я хочу перевести разговор в другое русло - есть ли что интересное, что стоит добавить в мой архив ?

небольшой апдейт

1. прикрутил разбивку на страницы - теперь можно просмотреть все результаты поиска
2. поработал над оформлением - теперь в результатах поиска иконки типов файлов отображаются также как и в простом просмотре
3. в результатах поиска можно сразу перейти на директорию с найденным файлом - для удобства просмотра "а что еще есть?"