Тушинский поисковик - NO FUTURE?

Видел на тушинском форуме пост, что Сергей не собирается прикручивать ДЦ к поисковику. Хотя, ранее такие планы вроде были.

Задача почетнейшая, но в сети у нас немного кроме него найдется народу, кто бы мог ее решить.

А там делов то не так много на первый взгляд - зипованные файлисты (bz2) получить от пользователей, да в базу их содержимое сложить.

Интересно, а нет какого-нить DC-клиента на PHP. Тогда может криво-косо можно что-то сваять и силами товарищей, которые упосещают данный ресурс?
Может кто попробует? Помню, Боб горел желанием покрыть себя неувядаемой славой :-)

Я тут поискал вроде есть один вариантик.

Взять фронтэнд на php и использовать его для своих гнусных целей.
Ну а сам консольный клиент DCTC запустить на том же MIL-е.

Вобще есть такая штука как DC search bots, но они написаны на визуальном васике.
ну визуальный васик это уже проще, надо просто сесть и разобраться что приходит и куда это потом послать =)

Если серьёзно - написать то можно, покрайней мере сообща, нужно для начала продумать алгоритм, я вот лично не особо понимаю принцип работы (технический момент), вот если кто возьмётся, хотя бы описать алгоритм работы, то можно поковырять и своять.
Ну примеры на васике это лишь подключение в качестве бота и тот же самый поиск, что осуществляют люди из клиентов. Но если и это прикрутить к фтп-шному поисковику, то уже прогресс.

Однако, ты то чего суетишься?! У нас планов утвержденных наркоматом до морковкиного заговения. :-)
bob
Наткнулся вчера ещё на одино решение. Я, правда, пока слабо понимаю как именно оно работает и можно ли из этого сделать то что нам нужно...

http://www.rohubstats.go.ro/

PHPDc Features :

• PHP Cron Job, you can set the interval
• Templates, you can make your own templates very easily
• Support for Multiple Hub's
• FTP Upload, you can set the bot to upload the created files on another server
• Debugger, writes in a log file the RAW data sent or received


Вот можно посмотреть как работает. Поставился сценарий без всяких проблем, ДЦ клиент ему при работе не нужен.
http://192.168.11.56/dc/PHPDc.php


Я не понял для чего бот (из тех фич, что ты запостил сюда).

Но то, что коннектится к хабу может я понял. Имя только что-то не понравилось ему.

Вот теперь бы научиться чтобы пускали и чтобы можно было файллисты запрашивать.


2005-11-08 10:48:42
NR Connect : 1
WARNING: your PHP build supports real sockets.
Succesfully connected to 192.168.1.253 (192.168.1.253), port 411
RECEIVE : $Lock EXTENDEDPROTOCOL_verlihub Pk=version0.9.8c
Lock & Pk : EXTENDEDPROTOCOL_verlihub Pk=version0.9.8c
Pk : Pk=version0.9.8c
Lock : EXTENDEDPROTOCOL_verlihub
SEND : $Key uбРЦА A бББРР01�1qсPбq|
SEND : $ValidateNick HaTe_bot|
RECEIVE : This Hub is running version 0.9.8c (Thu Jun 9 20:15:00 CEST 2005) of VerliHub (RunTime:4days 23hours ).
RECEIVE : This hub is enhanced by plugman for Verlihub.
RECEIVE : Bad nickname: Wait 23sec before reconnecting!!
RECEIVE : $ForceMove
REDIRECTING NOT SUPPORTED! DISCONNECTING!
bob
leksey писал:
Я не понял для чего бот (из тех фич, что ты запостил сюда).

Но то, что коннектится к хабу может я понял. Имя только что-то не понравилось ему.

Вот теперь бы научиться чтобы пускали и чтобы можно было файллисты запрашивать.
Пускает пускает. (:

Наверное ты запустил сценарий в то время когда бот уже находился на хабе запущенный мной.


Вот что он выдаёт:
http://192.168.11.56/dc/logs/debug-2005-11-08.log

Файлисты он запрашивать не умеет, но, думаю, научим. (:

Пока он просто собирает имена всех присутствующих, кол-во расшаренного у них, ну и мутотень вроде электронной почты.
вот так красиво всё получается:
http://192.168.11.56/dc/html/192.168.1.253/1.html



leksey, возможно тот бот что нашёл ты много лучше, но он работает только под Линуксом, а этот и под Виндой без проблем. (%
Так бот на PHP? Какая ему разница на чем бежать. Работает он неплохо. Теперь бы получение бинарных данных в его запхать.

Что касаемо виндовса, то тут четкое предубеждение - это ОСь не для сетевых сервисов. Это ось для игр и просмотра фильмов. С текстами в ней поработать можно.
да, для ПХП нет разницы, что на винде, что на *nix бот должен бежать и там и там.
Красота - она наоборот не нужна, всё что нужно, ИМХО, простой html - потом легче будет парсить =), да и генеоится будет быстрее, ну это можно сразу при выводе поковырять скриптик и сделать что бы вобще в текстовый файл писал, то, что нам нужно.

А бот нужно ставить на Linux, на Миловский, объясняю почему - потому, что bob твой виндоус крутится не постоянно, да и к МИЛу есть доступ и в случае чего, много кто сможет толкнуть бота (ну если он откиснет).
bob
Да кто ж спорит что бот должен рабоать не на Винде а на Лунухе? (:
Просто того бота что нашёл Лексей я у себя не смог запустить. DC-клиент-то там под Линукс. и только под него как я понимаю. Отлаживать код в Windows лично для меня гораздо проще удобнее и приятнее. Лично для меня.


Красота — ну это просто шаблон такой. Просто красиво оформленные данные из "простого текстового" лога. Парсить его не приёдтся. (:
Чтобы ссылки вида dchub:// открывались в DC++ клиенте, надо в его настройках взвести флажок Register with Windows to Handle dchub:// and adc:// URL Links

В регистри все просто получается (у обоих протоколов):
"C:Program FilesDC++DCPlusPlus.exe" %1


Обычная ссылка
dchub://192.168.1.253
adc://192.168.1.253
dchub://192.168.1.253/[FTP]/public/DVD/4400_1/Video_ts.bup
dchub://192.168.1.253/[FTP]/public/DVD/4400_1/
dchub://192.168.1.253/[FTP]
adc://192.168.1.253/[FTP]/public/DVD/4400_1/Video_ts.bup
adc://192.168.1.253/[FTP]/public/DVD/4400_1/
adc://192.168.1.253/[FTP]/
dchub://192.168.1.253/_Isurus_/SOFT/Drivers/ATI/rad_w2kxp_omega_2612_7z.exe
Вот эти ссылки почему-то не работают. :-(

Magnet-link (по умолчанию активированы при установленном DC++ клиенте)
link

/archive/file/dc-setup/magnet-link-detected.gif

Файл находится и его можно скачать. Саму "магнитную" ссылку можно получить из правокнопочного меню, щелкнув на нужном файле.
bob
Сегодня с одним мерцем переписывался.
У него есть бот для ДЦ, который...

...все файл листы может скачать и запихнуть куда закажешь, может доже страничку написать и там всё отписывать! Но есть 1 но (он не дароботан) Теоретически он должен и практически никак. Как только всё наладим я тебе сообщу . ок?!


Вроде здорово, но что-то мне при дальнейшем общении показалось что парнишка звездит как дышет. Хотелось бы ошибаться. (:
Ну, судя по тому как он русский знает, вопросов не имею.

Вот аська человека 297684997@icq.jabber.ru, который на тушинском форуме в разделе ДЦ засветился. Он мне сказал, что, мол, такие разработки ведутся. Можешь попробоваться ним поговорить. Сетка их вроде процент называется. Сайт посвящен как раз работе с ДЦ. Может туда стоит пост отписать. Короче, нет ничего невозможного. Было бы желание.
S_talker
http://pro.setun.net/search/

Система файлового поиска и навигации в сетях и не только.
Быстрое сканирование ftp, windows shares, http[в разработке, а оно надо?]
Обработка описаний из *.m3u, files.bbs, descript.ion, ...
Обход DC хабов, сбор файллистов [dev]
Обработка файл-листов DC++ (в результатах поиска как magnet, dchub:// ссылки)
Работа под win, freebsd, linux, .. используя СУБД mysql, [в разработке pgsql]
Разрабатывалось для быстрой работы с большим количеством файлов (от миллиона)
Гибкая система выдачи результатов поиска (M3U, RSS, XML, в консоль, ...)
Возможность поиска только в включенных компьютерах (online)
Определение живости ресурса в реальном времени с веб-морды
Подсчет количества скачек файла/с ресурса
Голосования за-против ресурсов [рейтинг]
Навигация по ресурсам

Версия почти работающая. Сейчас в моей сети проходит обкатку :-)
Да. Была где-то на нее ссылка. Лучше расскажи, действительно ли она работает с ДЦ?
S_talker
Файл-листы тянет и парсит. Причем довольно резво (но не очень умно - бот не сидит на хабе, а заходит через опр. промежутки времени). Сейчас у меня в базе 3 млн. файлов - пока особых напрягов нет.
Ищет, результаты выдает. Хотя не всегда релевантные. Но может я не полностью разобрался со спецификой формирования запросов.
С формированием ссылок небольшие проблемы. dchub-линки формируются неправильно (так, как было указано выше), magnet-ссылки - немножко некорректно (проблема с русскими символами). Я надеюсь, что это будет исправлено в ближайшее время, мы по этому поводу с автором уже говорили.
Функционал веб-интерфейса на высоте. Обратная сторона - многим юзерам может показаться сложным. Частично решается усечением ненужных фишек (типа того же рейтинга, и т.д.)
Писана на перле, использует mysql, под FreeBSD 6 встала без проблем

Вывод: чуть-чуть побагфиксить, и будет вполне сьедобный поисковик.
Nonces
вот Господа, хорошие. Предлагаю ознакомиться http://192.168.2.12
Однако работает. Круто.
Можно сделать плагинчик поисковый для Лисы.
Да. А если оно еще вдруг научится через веб тащить из ДЦ что-то, то ваще будет конец света...
eex
Nonces, 24 мая 2006, писал(а):
вот Господа, хорошие. Предлагаю ознакомиться http://192.168.2.12


За такие вещи на ТТ разве не сажают?
чтобы написать ответ, необходимо войти в учётную запись