Сервер поиска магнет ссылок, Нужно ли? Опции

[Decker]

Посмотрел тут вот на это - http://dc.hovel.ru/node/1354 и появилась идея организовать что-то подобное в /local. Для тех у кого по каким-то причинам нет доступа в интернет - опишу здесь:

В тестовом режиме работает сервер поиска магнет ссылок. Адрес http://dc-poisk.no-ip.org:17000 . Пока проиндексировано около 1591186 документов (pdf,djvu,chm) и видеофайлов.

пример: поиск мультика «Вольт»

1. magnet [(comhem)Xisz] \ filmas \ Russian Movies \ BolT (ВОЛЬТ)CAMRip ...
magnet [(ADSL)Pozd] \ DLoad \ Volt.2008.L1.CAMRip.ELEKTRI4KA.avi. magnet [(comhem)Xisz] \ filmas \ Russian Movies \ BolT (ВОЛЬТ)CAMRip.ELEKTRI4KA ...
magnet [AVAT] \ Фильмы \ Вольт [Bolt.2008.L1.CAM.EL4].avi.
magnet [CLIPS] \ FILMS \ Мульты \ Вольт(2008).avi.
E:\video\ZX\ZX2AUJ3P32BHTMA53DJKHHBFV7EFZ3RLJ44HAPY722624512.SpaceLib.html 26 Дек 2008, 01:26 — Найденные слова

и т.д.

индексировались актвные юзеры с dc.ozerki.net , dc.lanport.ru , «толстый кот» и dchub://library.loopback.nu:411 .

Сам сервер это Yandex.Server-FREE-010-3.8.3 , который индексирует html файлы созданные SSearch.exe ( http://spacelib.narod.ru/p_ssearch_adv.html ) из списков файлов пользователей хабов (см. раздел Турбо-Поиск).

Данный проект «демо», самому мне некогда заниматься этим серьезно, да и канала хорошего нет. Основная задача показать возможность легкого создания серверов поиска магнет ссылок и привлечь внимание админов хабов к организации полнотекстового поиска. Современные поисковики сделали WWW удобным для быстрого поиска и извлечения информации. То же самое возможно и для Direct Connect сетей.
Яндекс бесплатно распространяет урезанную FREE версию своего поисковика, в надежде, что он в принципе не может создать конкуренцию его платной версии «Энтерпрайз». Однако и это возможно. Для этого надо создать виртуальную сеть поисковиков (из Yandex.Server-FREE), каждый из которых индексировал бы только свой тип файлов. Один – документы, другой видео, третий аудио, четвертый программы, пятый …. И т.д. в общем так , как это делает сам Яндекс. На главной форме http сервера юзер бы сам выбирал, какие типы файлов ему нужны, а уже с неё шли бы запросы к сети поисковиков, результат потом объединялся на http сервере и выдавался юзеру. Так можно балансировать нагрузку как по поиску так и по индексации магнет-ссылок. Отдельный поисковик надо заточить под самые свежие файлы расшаренные в сети, как это делает Яндекс при индексации форумов и новостных порталов.

Что касаемо моего проекта, примерно через неделю закончится индексация еще около 22 000 000 магнет ссылок на аудио файлы (это примерно 15 000 000 уникальных файлов) . Потом наступит очередь архивов и образов дисков.

Обращу особое внимание на тот факт, что любой может поднять у себя поиск по хабу . Для этого нужны три программы:

ducsetup.exe - No-IP Dynamic Update Client (DUC) v2.2.1 (инструкция http://forums.nashalife.ru/showthread.php?...;threadid=27754 )
Yandex.Server-FREE-010-3.8.3 (дока на русском в комплекте)
SSearch.exe (дока http://spacelib.narod.ru/p_ssearch_adv.html )

1. Сначала ставите и настраиваете No-IP Dynamic Update Client (внешнего трафика кушает на копейки).
2. Скачиваете файл-листы пользователей обычным клиентом и с помощью SSearch.exe превращаете их в множество html файлов (закладка Турбо-Поиск), где и хранится информация о магнет-ссылках.
3. Устанавливаете и настраиваете Yandex.Server. В качестве области индексирования выбираете папки с созданными ранее html файлами. Пример из yandex.cfg:

Path e:\doc

Path e:\video

text/html: .html .htm .shtml

Если у вас безлимитный тариф, откройте порт в брандмауэре для Yandex.Server именно тот, который вы указали в yandex.cfg (по умолчанию 17000) и разрешите его для любого компьютера из сети. Иначе порт должен быть открыт только для локальных IP адресов, точно так же как и для стронга, Yandex.Server запускайте не как сервис, а как консоль (-d) в брандмауэре разрешите его ТОЛЬКО для локальных IP адресов. (Я, для локальной конфигурации сервер поиска не тестировал! Будьте осторожны! Нужны эксперименты, что-бы не попасть на трафик!).

Возможно вам еще потребуется настроить режим проброса порта (17000) на роутере, если он не в режиме «бридж».

Когда запустите сервер зайдите в админку и проиндексируйте все файлы, только после этого станет возможен поиск. Что бы самому увидеть и протестировать свой поисковый сервер, вам потребуется на него заходить через внешний прокси сервер, адреса ищите тут ( http://proxyfree.ru/ ).

Важно: для Yandex.Server-FREE заведите отдельного пользователя, обрежте ему все права, запретите доступ ко всем дискам и папкам, кроме области индексирования и той папки куда он сам установлен. В конфиге yandex.cfg не используйте секцию Authorization , иначе ставте Yandex.Server-FREE в папку со случайным именем.

Ждем энтузиастов, которые займутся индексацией популярных российских хабов!

Некоторое обсуждение проекта можно почитать здесь http://forum.proc.ru/index.php?showtopic=43930

з.ы. О программе SSearch можно почитать здесь -  SSearch.rar ( 1,51 мегабайт ) Кол-во скачиваний: 200
, о Яндекс.Сервере Free тут - http://company.yandex.ru/technology/produc...er/features.xml

[Phoen]

попробовать можно. Ну будет невостребовано - всегда убрать можно... Ещё б страничку где юзвери могли выкладывать свежие релизы таки намутить...

[CrazyBoy]

Неплохая идея но Decker, ИМХО кто это будет делать...