Wiktionary:Fragen zum Wiktionary/Archiv/2008/09

Aus Wiktionary, dem freien Wörterbuch
Zur Navigation springen Zur Suche springen
Archiv Diese Seite ist ein Archiv abgeschlossener Diskussionen. Ihr Inhalt sollte daher nicht mehr verändert werden. Benutze bitte die aktuelle Diskussionsseite, auch um eine archivierte Diskussion weiterzuführen.
Um einen Abschnitt dieser Seite zu verlinken, klicke im Inhaltsverzeichnis auf den Abschnitt und kopiere dann Seitenname und Abschnittsüberschrift aus der Adresszeile deines Browsers, beispielsweise
[[Wiktionary:Fragen zum Wiktionary/Archiv/2008/09#Abschnittsüberschrift]]
oder als „externer“ WikiLink
[http://de.wiktionary.org/wiki/Wiktionary:Fragen_zum_Wiktionary/Archiv/2008/09#Abschnittsüberschrift]

Datenbank für SQL Abfragen

Hallo zusammen,

ich bin neu hier, wie ich gesehen habe, wurde bis 2006 eine Version auf MySQL Datenbank von Benutzer "Filzstift" betrieben, die per SQL ausgwertet werden konnte.

Da gab es wohl erhebliche Performanz Probleme und das Ganze wurde dann leider eingestellt.

Ich würde das Projekt jetzt gerne auf dem ndwriter/ndreader von nadas ([1]) "reanimiert" sehen.

Bitte gebt mir einen Hinweis, wie ich da in Kontakt treten kann. Wäre Unsinn da noch mal bei "0" zu beginnen, eine Portierung von MySQL ist vermutlich in wenigen Tagen gemacht.

Vielen Dank im Voraus

Gruss mkr7211

Das klingt sehr interessant! Momentan werden Auswertungen der Datenbankauszüge nämlich lokal auf privaten Rechner vorgenommen (eben aus "Performance"-Gründen). Alle Datenbankauszüge des de.Wiktionarys im XML- und teils noch SQL-Format findest du dort (Übersicht/Beschr.), eine Prozessübersicht gibt's dort. Bin gespannt :-) --- MfG, Melancholie (Diskussion) 11:32, 2. Sep 2008 (CEST)

erstmal vielen Dank für den Hinweis

Ich habe jetzt mal testhalber 2 Tabellen importiert: Externallinks/Page

SQL:
describe stat

QUALIFIED_COLUMNNAME               REC_COUNT  NULL_COUNT  DUPL_COUNT
----------------------------------------------------------------------
WIKI.EXTERNALLINKS.EL_FROM :       83163      0           55249
WIKI.EXTERNALLINKS.EL_INDEX :      78825      4338        10081
WIKI.EXTERNALLINKS.EL_TO :         78825      4338        10010
WIKI.PAGE.PAGE_COUNTER :           93688      0           93683
WIKI.PAGE.PAGE_ID :                93688      0           0
WIKI.PAGE.PAGE_IS_NEW :            0          93688       0
WIKI.PAGE.PAGE_IS_REDIRECT :       0          93688       0
WIKI.PAGE.PAGE_LATEST :            93688      0           0
WIKI.PAGE.PAGE_LEN :               93688      0           87568
WIKI.PAGE.PAGE_NAMESPACE :         93688      0           93668
WIKI.PAGE.PAGE_NO_TITLE_CONVERT :  0          93688       0
WIKI.PAGE.PAGE_RANDOM :            93688      0           1085
WIKI.PAGE.PAGE_RESTRICTIONS :      93688      0           93681
WIKI.PAGE.PAGE_TITLE :             76251      17437       4502
WIKI.PAGE.PAGE_TOUCHED :           93688      0           70859
2008-09-02 20:54:32

Knapp 2 Mio Datensätze, Importzeit < 1 Minute, das ist ja noch keine Datenmenge, kleine Testabfrage:

set heading on
set format auto
set pagesize 20
set feedback on
set timing on

select page_title,el_from, substr(el_to,1,40), substr (el_index,1,40)
    from page, externallinks
    where el_from =page_id
    and page_title like '%ball%' icase;



PAGE_TITLE      EL_FROM   column[3]                                column[4]
------------------------------------------------------------------------------------------------------------
Federball      !    88912!http://www.dwds.de/?kompakt=1&qu=Federba!http://de.dwds.www./?kompakt=1&qu=Federb
Federball      !    88912!http://wortschatz.uni-leipzig.de/cgi-bin!http://de.uni-leipzig.wortschatz./cgi-bi
Ballangel      !    92269!http://www.canoo.net/services/Controller!http://net.canoo.www./services/Controlle
Ballangel      !    92269!http://www.dwds.de/?kompakt=1&qu=Ballang!http://de.dwds.www./?kompakt=1&qu=Ballan
Ballangel      !    92269!http://wortschatz.uni-leipzig.de/cgi-bin!http://de.uni-leipzig.wortschatz./cgi-bi
Ballmarker     !    92271!http://www.canoo.net/services/Controller!http://net.canoo.www./services/Controlle
Ballmarker     !    92271!http://www.dwds.de/?kompakt=1&qu=Ballmar!http://de.dwds.www./?kompakt=1&qu=Ballma
Ballmarker     !    92271!http://wortschatz.uni-leipzig.de/cgi-bin!http://de.uni-leipzig.wortschatz./cgi-bi
Ballmarker     !    92271!http://germazope.uni-trier.de/Projects/W!http://de.uni-trier.germazope./Projects/
ball_rodona    !    98999!http://www.diccionari.cat/              !http://cat.diccionari.www./
ball_rodona    !    98999!http://ec.grec.net/lexicx.jsp?GECART=   !http://net.grec.ec./lexicx.jsp?GECART=
ballast        !    99353!http://www.m-w.com/dictionary/ballast   !http://com.m-w.www./dictionary/ballast
Ballerina      !   102552!http://www.dwds.de/?kompakt=1&qu=Balleri!http://de.dwds.www./?kompakt=1&qu=Baller
Ballerina      !   102552!http://www.canoo.net/services/Controller!http://net.canoo.www./services/Controlle
Ballerina      !   102552!http://wortschatz.uni-leipzig.de/cgi-bin!http://de.uni-leipzig.wortschatz./cgi-bi
Beachbasketball!   108581!http://www.canoo.net/services/Controller!http://net.canoo.www./services/Controlle
Beachbasketball!   108581!http://wortschatz.uni-leipzig.de/cgi-bin!http://de.uni-leipzig.wortschatz./cgi-bi
Ballade        !   110703!http://www.dwds.de/?kompakt=1&qu=Ballade!http://de.dwds.www./?kompakt=1&qu=Ballad
Ballade        !   110703!http://www.canoo.net/services/Controller!http://net.canoo.www./services/Controlle
Ballade        !   110703!http://wortschatz.uni-leipzig.de/cgi-bin!http://de.uni-leipzig.wortschatz./cgi-bi

PAGE_TITLE     EL_FROM   column[3]                                column[4]
-----------------------------------------------------------------------------------------------------------
vestit_de_ball!   112010!http://www.diccionari.cat/              !http://cat.diccionari.www./
vestit_de_ball!   112010!http://ec.grec.net/lexicx.jsp?GECART=014!http://net.grec.ec./lexicx.jsp?GECART=01
Ballettabend  !   116086!http://www.dwds.de/?kompakt=1&qu=Ballett!http://de.dwds.www./?kompakt=1&qu=Ballet
Ballettabend  !   116086!http://www.canoo.net/services/Controller!http://net.canoo.www./services/Controlle
Ballettabend  !   116086!http://wortschatz.uni-leipzig.de/cgi-bin!http://de.uni-leipzig.wortschatz./cgi-bi


number of record(s) selected: 85

2008-09-02 20:42:16

FRAGEN/WÜNSCHE

Da soll es doch einen Konvertierer geben, der den Seiteninhalt von XML auf mysql Importformat umsetzen kann?

Ausserdem würde ich gerne wissen, bei welchen SQL-Abfragen es die Performance Probleme gab (Killer Abfragen), bzw. was"typische" Auswertungen sind, dann kann ich das mal ernsthaft überprüfen. Wenn das damals ein mehrjähriges Projekt war, dann sollte es doch noch Material dazu geben.

Gruss mkr7211

@converter: Dazu weiß ich leider nichts genaues. @performance: Das Problem war, glaube ich, dass die Abfragen anfangs die Originaldatenbank nutzten; die Wikimedia-Server waren damals aber eh schon hoffnungslos überfordert! Später wurden evtl. Datenbankauszüge genutzt (w:Benutzer:Filzstift?), aber die waren/sind wiederum hoffnungslos veraltet; auch die heutigen XML-Dumps, leider. Wegen Fragen wende dich am besten an wikipedia:de:Benutzer:Filzstift. --- MfG, Melancholie (Diskussion) 23:06, 6. Sep 2008 (CEST)
Siehe auch w:Wikipedia:Datenbankabfragen! --- MfG, Melancholie (Diskussion) 23:10, 6. Sep 2008 (CEST)

Trumm

Gehört das so oder hat da versehentlich jemand was gedoppelt? [2] --Kurt Jansson (Diskussion) 08:55, 23. Sep 2008 (CEST)

Lieber Kurt Jansson! Ich musste auch zweimal hinsehen, sah dann aber, dass es tatsächlich so muss. Es sind zwei verschiedene Wörter, da das zweite auch männlich sein kann und einen zweiten Plural hat. Dies sind verschiedene grammatische Eigenschaften, die es rechtfertigen dem zweiten Wort einen eigenen Eintrag zu spendieren. Beide Wörter haben auch unterschiedliche Bedeutungen. Dies wird gemacht, um die Verwechslung der Geschlechter, Plurale usw. zu vermeiden. Ich hoffe ich konnte Dir den Sachverhalt etwas deutlich machen und würde mich freuen Dich hier als Aktiven Wiktionayianer in unserer kleinen Gemeinschaft zu sehen. Viel Spaß mit dem Wörterbuch! (vorstehender nicht signierter Beitrag stammt von BaisemainDiskussionBeiträge ° --—Pill (Kontakt) 15:53, 27. Sep 2008 (CEST))
Verstehe, danke für die Erklärung! --Kurt Jansson (Diskussion) 13:43, 27. Sep 2008 (CEST)

Eintrag verschieben

Wie kann ein Eintrag verschoben werden, wenn er auf eine Seite mit mehreren gleich lautenden Einträge geschrieben wurde? Siehe hier: van (Ungarisch)
Ich habe noch keine Erfahrung darin wie es funktioniert. --Magellan @_/" 13:42, 25. Sep 2008 (CEST)

Siehe w:Hilfe:Artikelinhalte auslagern und w:WP:URV#Artikel verschieben, Artikel zusammenführen, Artikel aufteilen, Arbeitskopien. —Pill (Kontakt) 16:13, 26. Sep 2008 (CEST)