19-10-2023
Тип | |
---|---|
Разработчик |
комьюнити YaCy |
Написана на | |
Операционная система | |
Последняя версия | |
Лицензия | |
Сайт |
YaCy.net |
YaCy (от англ. Yet another Cyberspace, Ещё одно Киберпространство; созвучно с англ. Ya see) — свободно распространяемая поисковая система, построенная по принципу одноранговых сетей (P2P). Основной программный модуль, написанный на Java, функционирует на нескольких тысячах компьютеров (по состоянию на 2011 год) участников сети YaCy. Каждый участник проекта независимо исследует Интернет, анализируя и индексируя найденные страницы и складывает результаты индексирования в общую базу данных (так называемый индекс), который совместно используется всеми пользователями YaCy по принципу P2P.
В отличие от частично распределённых поисковых систем, сеть YaCy характеризуется децентрализованной архитектурой. Все узлы эквивалентны и отсутствует центральный сервер. Программа может работать в режиме поискового робота или в качестве локального прокси-сервера, индексируя страницы, посещаемые пользователем (при этом игнорируются страницы с признаками персональных данных — cookies и т. п.).
Доступ к функциям поиска обеспечивается за счёт локально запущенного веб-сервера, который генерирует поисковую страницу с полем для ввода поисковых запросов и возвращает результаты поиска в том же формате, что и другие популярные поисковые системы.
Программа распространяется под лицензией GPL. Проект поддерживает европейское отделение фонда свободного программного обеспечения (FSFE).[1]
Проект YaCy был основан Михаэлем Кристеном (нем. Michael Christen) в 2003 году.
Содержание |
Ядро поиска отличается от других поисковых систем — это не центральный сайт, а компьютерная программа, которая работает в различных операционных системах. Поиск ведётся на локальном веб-сайте, который работает с помощью установленной программы. Отображение результатов обычно происходит в виде веб-страницы.
В сочетании с дополнительными P2P-системами используется прокси, который автоматически индексирует посещённые страницы. Индексирование не производится в тех случаях, когда данные передаются через GET или POST, или же используются куки (cookies) или HTTP-аутентификации (например, страницы входящие в определённую запароленную зону).[4] Тем самым гарантируется, что действительно индексируются только доступные для общественности данные.
Программа основана на веб-сервере, который также является кэширующим-прокси. Пользователь веб-сервера может получить доступ к оболочке поиска и управления своим собственным узлом. Прокси имеет общий код со сканером, а это значит, что все посещённые через него страницы, которые не являются личными, по умолчанию автоматически записываются в индекс. Кроме того, YaCy предоставляет собственный домен в YaCy-сети, который доступен через прокси-сервер.
В отличие от файлообменных сервисов результаты P2P-поиска должны быть доступны немедленно. Чтобы достигнуть этого YaCy использует распределённую хеш-таблицу (DHT). Это означает, что все распознанные программой URL-адреса и слова отправляются к узлам, которые подходят для хранения соответствующих контрольных сумм слов, узлов или ссылок. При поиске всё работает наоборот: поиск происходит только по узлам, подходящим для хранения хешей URL-адреса для этого слова.
Таким образом, для получения хороших результатов необходимо задействовать только часть узлов.
Сеть YaCy состоит из четырёх различных типов узлов:
Протокол YaCy состоит из текстовых сервлетов, которые обеспечивает встроенный веб-сервер по адресу /yacy/servletname.html. Другие узлы передают данные через GET-параметры и получают ответ в виде простого текста, точный формат отличается для сервлетов.
При начальной загрузке узел пытается связаться с другими узлами YaCy-сети. Сначала ищутся списки узлов. Первый адрес в superseed.txt служит для загрузки устойчивых YaCy-узлов. seeds.txt является также ссылками на другие узлы, таким образом устанавливается контакт с YaCy-сетью. В следующий раз, когда вы запускаете YaCy, gebootstrapt создаётся из известных с предыдущего раза узлов сети и списки узлов бывает необходимы только когда большинство старых ссылок больше не доступны.
Поисковые машины (список) | |
---|---|
Общие | |
Региональные |
Accoona (Китай/США) • Alleba (Филиппины) • Ansearch (Австралия/США/Великобритания/Новая Зеландия) • Апорт (Россия) • Daum (Юж. Корея) • Guruji.com (Индия) • GoGo.ru (Россия) • Maktoob (Бл. Восток) • Meta.ua (Украина) • Miner.hu (Венгрия) • Najdi.si (Словения) • Onkosh (Бл. Восток) • Рамблер (Россия) • Rediff (Индия) • SAPO (Португалия) • Search.ch (Швейцария) • Sesam (Норвегия/Швеция) • Walla! (Израиль) |
…лидеры |
Baidu (Китай) • Naver (Юж. Корея) • Seznam (Чехия) • Yahoo! Japan (Япония) • Яндекс (Россия, СНГ, Турция) |
Тематические |
TinEye • Lexxe • Topsy • FindBook.ru |
Метапоиск |
AskNet.ru • Brainboost • Clusty • Dogpile • FarSEER • exactus.ru • Excite • HotBot • Info.com • Ixquick • Krozilo • Mamma • Metacrawler • MetaLib • Нигма • Myriad Search • SideStep • Surfwax • Turbo10 • WebCrawler • GlobalFileSearch |
Открытые |
DataparkSearch • Egothor • Gonzui • Grub • Ht://dig • locust • Isearch • Lucene • Lemur Toolkit & Indri Search Engine • mnoGoSearch • Namazu • Nutch • OpenFTS • Sciencenet (научная, на технологии YaCy) • Wikia Search • Sphinx • SWISH-E • Terrier Search Engine • Xapian • YaCy • Zettair |
Детские |
AGAKIDS (Россия) • Ask Kids (Великобритания) • Frag Finn (Германия) • Kids AOL (США) • Kids Yahoo! (США) • Quintura Дети (Россия) • Семейный Яндекс (Россия) • Гогуль (Россия) |
YaCy.