Open Web Index

Unter der Bezeichnung Open Web Index fasst man eine Reihe von Konzepten und Projekten zusammen, die allesamt das Ziel haben, die Inhalte des World Wide Web (WWW) nicht nur über die Datenbanken der globalen Suchmaschinen-Konzerne aufzufinden, sondern die diesen Zugang der Allgemeinheit zur Verfügung stellen. Auf dieser Datenbasis können dann Suchmaschinen jeglicher Art als Anwendung aufsetzen.

Ein Web-Index ist ein geordnetes Verzeichnis von Inhalten des WWW. Im einfachsten Falle ist es ein Verzeichnis von Wörtern, bei dem zu jedem Wort vermerkt ist, auf welchen Webseiten oder URLs es zu finden ist (vergleichbar dem Suchindex am Schluss eines Buches). Ein derartiger Index ist die Basis jeder Suchmaschine. Nur beim Vorliegen eines solchen geordneten Verzeichnisses können durch Wörter (oder andere eindeutige Zeichenketten) beschriebene Inhalte des World Wide Web aufgefunden werden.

Ein offener Web-Index ist ein solcher, der eine öffentlich zugängliche Schnittstelle mit einer öffentlich zugänglichen Beschreibung anbietet. Über diese kann dann prinzipiell jeder nach Inhalten suchen. Ein solcher Index wird von Softwaremodulen erzeugt, die Webcrawler genannt werden.

Im Gegensatz dazu ist ein proprietärer Index ein solcher, bei dem der Zugriff auf bestimmte Nutzer oder Gruppen – meist Unternehmen – beschränkt ist. Typische Beispiele sind die Datenbanken der globalen Suchmaschinen-Konzerne.

Es gibt weltweit nur noch wenige Suchmaschinen, die auf einem eigenen umfassenden Web-Index beruhen: USA (Google, Bing), China (Baidu) und Russland (Yandex).^[1][2] Gleichzeitig ist der Suchmaschinenanbieter Google in Deutschland und weltweit dominant, teilweise in Art einer Monopolstellung^[3].^[4] Das französisch-deutsche Projekt Quaero wurde 2013 für beendet erklärt.^[5][6]

Aus dieser Erfahrung und der Analyse der vergangenen Entwicklung des Internets fordern die deutschen Initiatoren^[7] die schrittweise Schaffung eines offenen Internet-Indexes, der möglichst große Teile der öffentlich zugänglichen Bereiche des World Wide Web erfassen soll.^[8] Mittlerweile stellt die Internetsuche^[9] und der dafür notwendige Index-Dienst eine Basisinfrastruktur dar.

Es gibt mehrere Initiativen, die das Ziel eines offenen Web-Index auf etwas unterschiedlichen Wegen verfolgen: Sie versuchen alle, zunächst einen solchen Index zu erzeugen und diesen dann öffentlich zugänglich anzubieten. Im Folgenden eine kurze Übersicht; ohne Anspruch auf Vollständigkeit.

• Der älteste und international wahrscheinlich bekannteste Ansatz stammt aus den Jahren um 2011, beheimatet in den USA: die Common Crawl Initiative.^[10] Common Crawl erstellt allerdings keinen durchsuchbaren Index, sondern sammelt Daten aus dem Web und macht sie verfügbar.

• Seit ca. 2014 gibt es ein deutsches Projekt, welches von der Hochschule für Angewandte Wissenschaften Hamburg, Department Information, ausging und vom Suma e. V. aufgegriffen wurde; abgekürzter Eigenname OWI (für OPEN WEB INDEX), eine Initiative^[11] bzw. ein Konzept^[12] zur Schaffung eines unabhängigen Web-Index als Basis für Angebote im Internet, wie zum Beispiel Kartendienste, Suchmaschinen oder Vergleichsdienste.^[12][13] Ziel ist eine Zusammenfassung der verteilten Daten des Web unter dem Dach einer zentralen Organisation, die idealerweise bei der EU angesiedelt sein könnte.

• Seit Januar 2019 gibt es in Deutschland eine weitere Organisation, die mit Suma e. V. zusammenarbeitet und das Ziel hat, die verteilten Daten des Web in einem dezentralen Verbundprojekt aus Rechenzentren, Organisationen der Zivilgesellschaft und Firmen zusammenzufassen und zugänglich zu machen: abgekürzter Eigenname OSF, für: Open Search Foundation e. V.^[14]

• Open Web Index – Powering an independent web. Archiviert vom Original (nicht mehr online verfügbar) am 8. August 2025; abgerufen am 2. Februar 2026 (englisch). 
• Dirk Lewandowski: Perspektiven eines Open Web Index. (PDF) In: searchstudies.org. Hochschule für Angewandte Wissenschaften Hamburg, 2016, archiviert vom Original (nicht mehr online verfügbar) am 23. Dezember 2017; abgerufen am 18. Mai 2025. 
• Initiative für freien Web-Index, Dirk Lewandowski von der HAW Hamburg im Interview mit Christian Kunz vom 1. September 2014
• Website der Common Crawl Initiative (englisch)
• Website der OpenSearchFoundation
• Open Web Index des OpenWebSearch.EU Projekts (englisch)

1. ↑ Christian Kunz: Europäisches Gegenmodell zu Google? Der Open Web Index - SEO Südwest. Abgerufen am 21. Dezember 2017 (deutsch). 
2. ↑ Netzwerk Recherche: Initiative „Open Web Index“ – vorgestellt von N. Huss und A. Ude. Berliner Stammtisch mit Nikolaus Huss und Albrecht Ude. www.netzwerkrecherche.org, 21. März 2016, abgerufen am 23. Dezember 2017. 
3. ↑ Marktanteile führender Suchmaschinen in Deutschland in den Jahren 2014 bis 2016. de.statista.com, abgerufen am 23. Dezember 2017. 
4. ↑ Marktanteile der meistgenutzten Suchmaschinen auf dem Desktop nach Page Views weltweit in ausgewählten Monaten von Januar 2015 bis November 2017. de.statista.com, abgerufen am 23. Dezember 2017. 
5. ↑ Christian Stöcker und Holger Dambeck: Deutsch-französische Suchmaschine: Quaero ist geplatzt. Die europäische Antwort auf Google sollte Quaero sein - doch aus dem deutsch-französischen Suchmaschinenprojekt wird wohl nichts. Inzwischen basteln die Deutschen quasi allein an etwas Neuem: Theseus. Und Europa droht im Wettlauf mit Google und Yahoo ein Hightech-Fiasko. www.spiegel.de, 19. Dezember 2006, abgerufen am 23. Dezember 2017. 
6. ↑ 31 décembre 2013 : le programme Quaero s’achève. Quaero.org, 28. Januar 2014, abgerufen am 23. Dezember 2017 (französisch). 
7. ↑ Initiatoren. www.openwebindex.eu, 2017, abgerufen am 23. Dezember 2017. 
8. ↑ Christian Stöcker: Initiative gegen Google: Wissenschaftler fordern europäischen Web-Index. Die europäische Suchmaschine Quaero war ein teures Desaster. Informations- und Medienwissenschaftler aus Deutschland fordern nun ein Alternativmodell: einen öffentlich finanzierten Web-Index. www.spiegel.de, 18. Februar 2015, abgerufen am 23. Dezember 2017. 
9. ↑ Regina Bruckner: Vermessung der Welt jenseits von Google. Unsere Vorstellung von der Welt ist von künstlicher Intelligenz, Algorithmen und Suchmaschinen mitgeprägt, eine schwedische Stiftung will sie korrigieren. www.derstandard.de, 18. November 2017, abgerufen am 23. Dezember 2017: „Mager will herausfinden, welche Rolle Werte und Visionen bei europäischen Suchmaschinen spielen: Open-Web-Index, Yacy und Startpage versuchen sich als Alternativen anzubieten. Dass es angesichts der Marktmacht von Google dafür zu spät sein könnte, glaubt die Wissenschafterin nicht. Sie hielte viel davon, europäische Initiativen mit einigen Hundert Millionen an öffentlichen Geldern auszustatten. "Suche ist mittlerweile eine Basisinfrastruktur."“ 
10. ↑ Initiative: "Common Crawl". Abgerufen am 14. März 2019. 
11. ↑ Initiative OPEN-WEB-INDEX c/o SUMA-EV – Verein für freien Wissenszugang: Impressum. www.openwebindex.eu, archiviert vom Original (nicht mehr online verfügbar) am 28. Juni 2017; abgerufen am 14. März 2017. 
12. ↑ ^{a b} Initiative OPEN-WEB-INDEX c/o SUMA-EV – Verein für freien Wissenszugang: Der Open-Web-Index. www.openwebindex.eu, 2017, abgerufen am 21. Dezember 2017: „Der OPEN-WEB-INDEX (OWI) ist ein Konzept für eine offene digitale Infrastruktur.“ 
13. ↑ Roland Freist: Open Web Index. Internet-Geschäftsmodelle mit offenem Index. www.mittelstandswiki.de, 20. Januar 2017, abgerufen am 23. Dezember 2017. 
14. ↑ Initiative: "Open Search Foundation". Abgerufen am 14. März 2019.