Problemi vari

Informazioni da e per MilanoTrasporti, MSR Milano e Metro&Tram

Moderators: Hallenius, teo

Re: Problemi vari

Postby Coccodrillo » Thu 08 March 2018; 12:14

Certo, potrei cancellare gran parte dei messaggi, ma si perderebbe il motivo per cui questo forum è indipendente e non legato a servizi gratuiti tipo FreeForumZone, ovvero avere la possibilità di avere un backup del database e quindi più garanzie per la cosnervazione a lunghissimo termine dei messaggi. Tuttavia non avevo pensato al problema della difficile gestione di un database sempre più grande.

Il problema è che i messaggi utili e quelli inutili (o interessanti solo nel breve termine) sono mischiati, e cancellare solo quelli inutili sarebbe un lavoro immane perché bisognerebbe rileggere ogni singolo thread.
für Güter die Bahn ~ pour vos marchandises le rail ~ chi dice merci dice ferrovia
Coccodrillo
Forum Admin
 
Posts: 13344
Joined: Sat 29 April 2006; 16:36
Location: Gandegg+Testa 2 (vorrei...)

Re: Problemi vari

Postby mattecasa » Thu 08 March 2018; 13:32

Ci sono anche molti utenti che avranno forse scritto uno o due messaggi in tutta la loro vita. Si potrebbe anche pensare a tagliarne qualcuno.
Freedrichstrasse
User avatar
mattecasa
 
Posts: 4144
Joined: Sun 11 May 2014; 13:20
Location: Provincia di Parma

Re: Problemi vari

Postby Lucio Chiappetti » Thu 08 March 2018; 13:35

Ignoro i dettagli tecnici di operazione del forum, ma suppongo di aver capito che i messaggi sono in un database mysql invece che in pagine statiche html. Venendo da Usenet dove i post sui feed dura(va)no settimane o mesi, non mi preoccuperei troppo del "mantenere lo storico" (che prima che la comprasse Google faceva Dejanews). Che se fossero pagine statiche potrebbe essere sulla wayback machine (che suppongo essendo il forum dinamico qui invece non lo processi neppure).

Una percentuale non piccola di messaggi sono risposte brevi ed estemporanee tipo chat per cui uno storico non e' che interessi. Si potrebbe fare un filtraggio automatico sulla lunghezza dei messaggi ? Assumendo "piu' breve di n caratteri = non interessante" ?

Oppure volontarizzandosi per cui ci si divide i thread tra i forumer per flaggare cosa e' interessante e cosa no ?

Suppongo che decidere di congelare tutto il forum e aprirne uno nuovo clonato ma vuoto non sia economicamente una soluzione perche' ne andrebbero pagati due
100 anni dell'Unione Astronomica Internazionale https://www.iau-100.org/
Lucio Chiappetti
 
Posts: 4498
Joined: Mon 14 December 2009; 11:23
Location: Milano tra Lambrate e Gorla

Re: Problemi vari

Postby Coccodrillo » Thu 08 March 2018; 14:42

Dopo che mi hanno dato più risorse sembra funzionare ragionevolmente bene. Quindi il problema è proprio il gigantismo. Da vedere se ciò che crea più problemi è l'accesso continuo di utenti al forum (e quindi al database) o alla galleria fotografica, e quindi anche di banda.

Si i messaggi sono in un database MySQL.

Con la versione attuale non è possibile dirgli di cancellare i messaggi sotto N caratteri. Anche per questo ho sempre ripetuto di evitare quote inutili e risposte tipo chat, insomma di tenere il forum pulito fin da subito.

Non c'è un limite definito alla dimensione del database, di certo è che più è pesante più si possono presentare problemi (per esempio, già ora non potrei ricaricare il database da una copia locale direttamente via browser, dovrei chiedere all'hosting di farlo).

Nuovo forum: si potrebbe aprirne uno su un servizio gratuito per i messaggi poco importanti (e se vanno persi, pazienza), e tenere questo per quelli da tenere. Però servirebbe l'impegno di tutti per gestire due forum in parallelo copiando qui i messaggi da tenere.

Di sicuro vorrei trovare una soluzione duratura, perché la "speranza di vita" di questo forum è di...decenni.

Intanto ora che il forum funziona vedo di aggiornarlo all'ultima versione di phpBB sperando che funzioni meglio.
für Güter die Bahn ~ pour vos marchandises le rail ~ chi dice merci dice ferrovia
Coccodrillo
Forum Admin
 
Posts: 13344
Joined: Sat 29 April 2006; 16:36
Location: Gandegg+Testa 2 (vorrei...)

Re: Problemi vari

Postby S-Bahn » Thu 08 March 2018; 14:52

Non conosco MySQL, ma non c'è qualche strumento di maintenance, tipo rebuild degli indici, shrink dei log...?

Edit
La condizione "Resource limit reached" mi sembra che non sia dovuta al numero degli utenti in sessione, dal momento che esce anche con pochissimi utenti connessi.
Last edited by S-Bahn on Thu 08 March 2018; 15:59, edited 1 time in total.
Rispetto per tutti, paura di nessuno - Dejan Stanković
A scuola di treno: http://www.miol.it/stagniweb/
User avatar
S-Bahn
 
Posts: 50190
Joined: Thu 06 July 2006; 22:47
Location: Monza

Re: Problemi vari

Postby Coccodrillo » Thu 08 March 2018; 15:57

Mi chiedi troppo.

Vedo che il forum è tornato lento.

Mi verrebbe da chiuderlo provvisoriamente, per cercare di capire quale esattamente dei tre siti consuma più risorse.
für Güter die Bahn ~ pour vos marchandises le rail ~ chi dice merci dice ferrovia
Coccodrillo
Forum Admin
 
Posts: 13344
Joined: Sat 29 April 2006; 16:36
Location: Gandegg+Testa 2 (vorrei...)

Re: Problemi vari

Postby S-Bahn » Thu 08 March 2018; 16:02

Faccia pure, SysAdmin!
Rispetto per tutti, paura di nessuno - Dejan Stanković
A scuola di treno: http://www.miol.it/stagniweb/
User avatar
S-Bahn
 
Posts: 50190
Joined: Thu 06 July 2006; 22:47
Location: Monza

Re: Problemi vari

Postby Coccodrillo » Thu 08 March 2018; 16:04

Aiuto...!!! Intanto vedo se riesco a trovare un buon servizio gratuito per attivare un forum provvisorio/per messaggi "a perdere". Suggerimenti?
für Güter die Bahn ~ pour vos marchandises le rail ~ chi dice merci dice ferrovia
Coccodrillo
Forum Admin
 
Posts: 13344
Joined: Sat 29 April 2006; 16:36
Location: Gandegg+Testa 2 (vorrei...)

Re: Problemi vari

Postby Lucio Chiappetti » Thu 08 March 2018; 16:58

Coccodrillo wrote:problema è proprio il gigantismo.

Con la versione attuale non è possibile dirgli di cancellare i messaggi sotto N caratteri.

Non c'è un limite definito alla dimensione del database,


Probabilmente al giorno d'oggi il vecchio limite dei 2GB non esiste piu' ... tuttavia mi aspetto ci siano tempi di accesso che scalino piu' o meno linearmente con il numero di record.
Non ho idea di che interfaccia viene offerta per la gestione del db, ne' di che tipo di storage venga fatto ...
    ... per il formato dei campi nei record ho il sospetto che i messaggi siano salvati come BLOBs che e' un tipo di dati con cui non ho esperienza ... io gestisco db astronomici che pero' sono tabelle di numeri e stringhe corte, con 10000-100000 record, gia' i dati binari li teniamo in files esterni da retrievare via http
    ... per il formato delle tabelle mi diceva un collega che quello che mi pare si chiami infobright puo' essere molto piu' efficiente del solito myIsam ma non e' adatto per tabelle che cambiano dinamicamente, ma solo per tabelle statiche (anche sul milione di record) su cui fare solo queries ma non updates
    ... per esperienza so che un valido sistema di indici taglia notevolmente i tempi di accesso (mi e' capitato di tagliare di un fattore 700 su tabelle di poche centinaia di elementi acceduti ripetutamente da una function mettendo un indice) ma non credo il forum administrator abbia tale controllo
    ... poi se ci sono funzioni/procedure sui record usare le UDF scritte in C++ dovrebbe essere piu' efficiente che usare quelle interne scritte in sql ... che pero' sono assai piu' facili (idem come precedente)
    ... in quanto all'interfaccia di accesso, pensavo che gli amministratori avessero un accesso da un cliente command line (io faccio quasi tutto da li') e potessero dare comandi tipo
    Code: Select all
    delete from dbtable where length(messagefield) < n


Coccodrillo wrote:Nuovo forum: si potrebbe aprirne uno su un servizio gratuito per i messaggi poco importanti (e se vanno persi, pazienza), e tenere questo per quelli da tenere. Però servirebbe l'impegno di tutti per gestire due forum in parallelo copiando qui i messaggi da tenere.


Non mi pare una cosa fattibile in pratica. Io stesso credo che rinuncerei a seguirne uno, specie se avesse una diversa interfaccia. L'unica cosa sarebbe di avere un nuovo forum identico al vecchio che parta "vuoto" e uno vecchio con tutti i thread congelati, che non ammettano postings o modifiche, idealmente statico-html (ma mi sa che si perderebbero le funzioni di search ... a meno di farle via google o altra search engine).
100 anni dell'Unione Astronomica Internazionale https://www.iau-100.org/
Lucio Chiappetti
 
Posts: 4498
Joined: Mon 14 December 2009; 11:23
Location: Milano tra Lambrate e Gorla

Re: Problemi vari

Postby Astro » Thu 08 March 2018; 22:03

Posto che per i grandi dataset esistono cose come PostgreSQL e che per le serie temporali esiste l'estensione TimescaleDB per velocizzare le operazioni su tabelle anche da 10 miliardi di righe, normalmente nell'hosting il DB è privato (non il DBMS) e l'interfaccia è abbastanza aperta, quindi puoi creare indici tranquillamente.
Astro
 
Posts: 3702
Joined: Mon 26 November 2012; 14:55
Location: Z314 Z315

Re: Problemi vari

Postby Coccodrillo » Sun 11 March 2018; 9:31

In questo momento tutto ok. Ma sto vedendo se riesco a ridurre il carico del server. 120€ al mese comincerebbero a farsi sentire.
für Güter die Bahn ~ pour vos marchandises le rail ~ chi dice merci dice ferrovia
Coccodrillo
Forum Admin
 
Posts: 13344
Joined: Sat 29 April 2006; 16:36
Location: Gandegg+Testa 2 (vorrei...)

Re: Problemi vari

Postby skeggia65 » Mon 12 March 2018; 0:17

Ci sono poco meno di 2800 messaggi nelle sezioni "dimenticatoio" degli "altri forum".
C'è un numero imprecisato di argomenti fermi da più di due anni, probabilmente di scarso interesse per tutti.
È un lavoraccio eliminare tutto quel mobilio accatastato in cantina?
Articolo 21
Tutti hanno diritto di manifestare liberamente il proprio pensiero con la parola, lo scritto e ogni altro mezzo di diffusione.

Anche se "alea iacta est": Freedrichstrasse!

Se la musica è troppo alta, tu sei troppo vecchio.

Nella vita nulla si deve temere; si deve solo comprendere. Maria Sklodowska Curie
User avatar
skeggia65
 
Posts: 14994
Joined: Sat 06 May 2006; 0:20
Location: San Donato Milanese. 121, 132, 140, Z420, S1

Re: Problemi vari

Postby Astro » Mon 12 March 2018; 0:40

Io mi sono riletto molti topic del 2005 o giù di lì. In mezzo alla fuffa c'è molta roba interessante,
Astro
 
Posts: 3702
Joined: Mon 26 November 2012; 14:55
Location: Z314 Z315

Re: Problemi vari

Postby Coccodrillo » Sun 18 March 2018; 16:31

Scrivo solo per dire che non mi sono dimenticato del forum, ma che sto cercando una soluzione economicamente accettabile.

Aggiungo che nel peggiore dei casi, cioè se non riuscissi più a gestire il forum, non sparirebbe all'improvviso perdendo tutto come hanno fatto altri.
für Güter die Bahn ~ pour vos marchandises le rail ~ chi dice merci dice ferrovia
Coccodrillo
Forum Admin
 
Posts: 13344
Joined: Sat 29 April 2006; 16:36
Location: Gandegg+Testa 2 (vorrei...)

Previous

Return to Annunci e reclami

Who is online

Users browsing this forum: No registered users and 3 guests

cron