PHP-Web-Stat Support Forum
https://www.php-web-statistik.de/cgi-bin/yabb/YaBB.pl
Board (Deutsch) >> Probleme & Fragen >> Re: Größe pattern_referer.dta / Abbruch bei Cache akt.
https://www.php-web-statistik.de/cgi-bin/yabb/YaBB.pl?num=1308571236

Beitrag begonnen von Filou83 am 20.06.11 um 14:00:35

Titel: Re: Größe pattern_referer.dta / Abbruch bei Cache akt.
Beitrag von Filou83 am 20.06.11 um 14:00:35
Hallo hr3,

mich hat es auch mal wieder mit dem von Dir genannten Problem erwischt. Ich konnte keinen Cache mehr erstellen (blieb einfach bei 45% stehen) und die Statistik ließ sich auch nicht mehr aufrufen (blieb einfach beim 09.06.2011 stehen und nach dem Neuaufbau des Cache jetzt auch beim 31.10.2010).

Wo hattest Du die Messergebnisse her? Wie kann ich diese hier einstellen? Habe mal den Output Deines Programms angehängt:
Zitat:
27.968 doppelte begrenzte Schlüssel = 2.824.661 Byte


Referer mit bis zu Stellen in log/pattern_referer.dta

Zeilen Array
(
    [10] => 1
    [20] => 5
    [30] => 53
    [40] => 2550
    [50] => 10840
    [60] => 10986
    [70] => 4938
    [80] => 5506
    [90] => 2061
    [100] => 1074
    [120] => 660
    [140] => 222
    [160] => 133
    [180] => 96
    [200] => 65
    [250] => 97
    [300] => 51
    [350] => 69
    [400] => 1237
    [450] => 5356
    [500] => 10570
    [600] => 11259
    [700] => 3804
    [800] => 461
    [900] => 7
    [1000] => 4
    [1100] => 3
)
72.108 ZeilenByte Array
(
    [10] => 1
    [20] => 92
    [30] => 1348
    [40] => 96090
    [50] => 498031
    [60] => 605224
    [70] => 319672
    [80] => 411033
    [90] => 174881
    [100] => 100848
    [120] => 72302
    [140] => 28627
    [160] => 20011
    [180] => 16114
    [200] => 12440
    [250] => 21198
    [300] => 14059
    [350] => 22535
    [400] => 476728
    [450] => 2295916
    [500] => 5023786
    [600] => 6077595
    [700] => 2434678
    [800] => 334993
    [900] => 5747
    [1000] => 3879
    [1100] => 3142
)
19.070.970 Byte5.650.116 Byte bei Begrenzung auf 100 Stellen
2.825.455 und (informativ) nach eliminieren doppelter Schlüssel
1.095.443 Hex durch Zeichen ersetzt
log/pattern_referer_n.dta erzeugt

Titel: Re: Größe pattern_referer.dta / Abbruch bei Cache akt.
Beitrag von hr3 am 20.06.11 um 14:32:19
Vorherigen Beitrag verschoben aus: http://www.php-web-statistik.de/cgi-bin/yabb/YaBB.pl?num=1305215461/5#5

Die Messergebnisse habe ich manuell gestoppt.

Als Maßnahmen kommen infrage:


Zitat:
...
Auch ohne, aber erst Recht nach dem Begrenzen von Zielen sind doppelte Schlüssel möglich. Diese werden hier nur aufgezeigt. Zum Löschen ist gleichzeitig eine Korrektur der logdb-Dateien erforderlich. Damit läßt sich die Datei nochmals erheblich verkleinern. Hab ich im Moment noch nicht codiert, weil ich erst einmal den Bedarf und die Reaktionen auf diesen Ansatz abwarten möchte.

...

Um die Datei nicht wieder aufzublähen und mühsam immer wieder zu reorganisieren, wäre auch eine Anpassung der track.php um ein Begrenzen des Referers nach den gleichen Regeln erforderlich.
...

Titel: Re: Größe pattern_referer.dta / Abbruch bei Cache akt.
Beitrag von Filou83 am 20.06.11 um 14:55:26
Danke für Deine Antwort.

Option 1 hatte ich bereits gesetzt: http://www.php-web-statistik.de/cgi-bin/yabb/YaBB.pl?num=1289248261
Option 2 kommt noch nicht (bzw. sehr ungern) in Frage, das Zählen mit php web stat läuft erst seit März 2010.
Option 3 mit über 150 Zeichen kann ich Dein Skript nicht mehr ausführen, dann erhalte ich folgende Fehlermeldung noch während dem Aufsummieren der Refferer:
Zitat:
Fatal error: Out of memory (allocated 32768000) (tried to allocate 6001 bytes) in /<path>/stat/config/x-test.php on line 73

Hast Du vielleicht noch eine Idee? Oder kann man den Speicherverbrauch irgendwie mindern?

Titel: Re: Größe pattern_referer.dta / Abbruch bei Cache akt.
Beitrag von hr3 am 20.06.11 um 15:00:03
Schau ich mir mal speziell dazu an. Ich denke, wenn man ein Problem erkannt hat, kann man auch etwas dagegen tun.

Titel: Re: Größe pattern_referer.dta / Abbruch bei Cache akt.
Beitrag von Filou83 am 20.06.11 um 15:08:20
Danke Dir. Liegt an der Auflistung der doppelt begrenzten Schlüssel - wenn ich diese Optin weglasse, läuft das Skript durch.

Edit: Ich konnte damit die Dateigröße der pattern_referer.dta von 19.571.503 byte auf 12.753.207 byte reduzieren. Und ich konnte auch den Cache neu erstellen!! Vielen Dank! Hab's jetzt auf 300 Zeichen reduziert.

Edit 2: Zusätzlich hab ich noch Deinen Vorschlag hier übernommen: http://www.php-web-statistik.de/cgi-bin/yabb/YaBB.pl?num=1304324086

Danke :)

Titel: Re: Größe pattern_referer.dta / Abbruch bei Cache akt.
Beitrag von hr3 am 20.06.11 um 16:07:20
siehe http://www.php-web-statistik.de/cgi-bin/yabb/YaBB.pl?num=1305215461/5#5

Titel: Re: Größe pattern_referer.dta / Abbruch bei Cache akt.
Beitrag von hr3 am 21.06.11 um 14:05:51
Und jetzt auch die Reorganisation: http://www.php-web-statistik.de/cgi-bin/yabb/YaBB.pl?num=1305215461/0#6

Titel: Re: Größe pattern_referer.dta / Abbruch bei Cache akt.
Beitrag von Filou83 am 10.07.11 um 14:25:03
Hallo hr3,

ich wollte mich auf diesem Weg nochmals bei Dir bedanken! Ich habe mich heute nochmals ausführlicher mit meiner Statistik beschäftigt und Deine Skripte haben mir sehr geholfen. So konnte ich die "pattern_referer.dta" im ersten Schritt von 19.105 KB durch die Begrenzung auf 200 Zeichen auf 9.744 KB shrinken.

Durch Dein Reorganisationsscript habe ich die Größe nochmals auf 3.935 KB drücken können.

Vielen Dank und einen schönen restlichen Sonntag! 8-)


PS: Nur zur Info, die "logdb_backup.dta" meiner Statistik seit März 2010 hat eine Größe von 42.481 KB.

PHP-Web-Stat Support Forum » Powered by YaBB 2.5.2!
YaBB Forum Software © 2000-2012. Alle Rechte vorbehalten.