Problemi vari

[Coccodrillo]

Certo, potrei cancellare gran parte dei messaggi, ma si perderebbe il motivo per cui questo forum è indipendente e non legato a servizi gratuiti tipo FreeForumZone, ovvero avere la possibilità di avere un backup del database e quindi più garanzie per la cosnervazione a lunghissimo termine dei messaggi. Tuttavia non avevo pensato al problema della difficile gestione di un database sempre più grande.

Il problema è che i messaggi utili e quelli inutili (o interessanti solo nel breve termine) sono mischiati, e cancellare solo quelli inutili sarebbe un lavoro immane perché bisognerebbe rileggere ogni singolo thread.

[mattecasa]

Ci sono anche molti utenti che avranno forse scritto uno o due messaggi in tutta la loro vita. Si potrebbe anche pensare a tagliarne qualcuno.

[Lucio Chiappetti]

Ignoro i dettagli tecnici di operazione del forum, ma suppongo di aver capito che i messaggi sono in un database mysql invece che in pagine statiche html. Venendo da Usenet dove i post sui feed dura(va)no settimane o mesi, non mi preoccuperei troppo del "mantenere lo storico" (che prima che la comprasse Google faceva Dejanews). Che se fossero pagine statiche potrebbe essere sulla wayback machine (che suppongo essendo il forum dinamico qui invece non lo processi neppure).

Una percentuale non piccola di messaggi sono risposte brevi ed estemporanee tipo chat per cui uno storico non e' che interessi. Si potrebbe fare un filtraggio automatico sulla lunghezza dei messaggi ? Assumendo "piu' breve di n caratteri = non interessante" ?

Oppure volontarizzandosi per cui ci si divide i thread tra i forumer per flaggare cosa e' interessante e cosa no ?

Suppongo che decidere di congelare tutto il forum e aprirne uno nuovo clonato ma vuoto non sia economicamente una soluzione perche' ne andrebbero pagati due

[Coccodrillo]

Dopo che mi hanno dato più risorse sembra funzionare ragionevolmente bene. Quindi il problema è proprio il gigantismo. Da vedere se ciò che crea più problemi è l'accesso continuo di utenti al forum (e quindi al database) o alla galleria fotografica, e quindi anche di banda.

Si i messaggi sono in un database MySQL.

Con la versione attuale non è possibile dirgli di cancellare i messaggi sotto N caratteri. Anche per questo ho sempre ripetuto di evitare quote inutili e risposte tipo chat, insomma di tenere il forum pulito fin da subito.

Non c'è un limite definito alla dimensione del database, di certo è che più è pesante più si possono presentare problemi (per esempio, già ora non potrei ricaricare il database da una copia locale direttamente via browser, dovrei chiedere all'hosting di farlo).

Nuovo forum: si potrebbe aprirne uno su un servizio gratuito per i messaggi poco importanti (e se vanno persi, pazienza), e tenere questo per quelli da tenere. Però servirebbe l'impegno di tutti per gestire due forum in parallelo copiando qui i messaggi da tenere.

Di sicuro vorrei trovare una soluzione duratura, perché la "speranza di vita" di questo forum è di...decenni.

Intanto ora che il forum funziona vedo di aggiornarlo all'ultima versione di phpBB sperando che funzioni meglio.

[S-Bahn]

Non conosco MySQL, ma non c'è qualche strumento di maintenance, tipo rebuild degli indici, shrink dei log...?

Edit
La condizione "Resource limit reached" mi sembra che non sia dovuta al numero degli utenti in sessione, dal momento che esce anche con pochissimi utenti connessi.

[Coccodrillo]

Mi chiedi troppo.

Vedo che il forum è tornato lento.

Mi verrebbe da chiuderlo provvisoriamente, per cercare di capire quale esattamente dei tre siti consuma più risorse.

[S-Bahn]

Faccia pure, SysAdmin!

[Coccodrillo]

Aiuto...!!! Intanto vedo se riesco a trovare un buon servizio gratuito per attivare un forum provvisorio/per messaggi "a perdere". Suggerimenti?

[Lucio Chiappetti]

problema è proprio il gigantismo.

Con la versione attuale non è possibile dirgli di cancellare i messaggi sotto N caratteri.

Non c'è un limite definito alla dimensione del database,

Probabilmente al giorno d'oggi il vecchio limite dei 2GB non esiste piu' ... tuttavia mi aspetto ci siano tempi di accesso che scalino piu' o meno linearmente con il numero di record.
Non ho idea di che interfaccia viene offerta per la gestione del db, ne' di che tipo di storage venga fatto ...

... per il formato dei campi nei record ho il sospetto che i messaggi siano salvati come BLOBs che e' un tipo di dati con cui non ho esperienza ... io gestisco db astronomici che pero' sono tabelle di numeri e stringhe corte, con 10000-100000 record, gia' i dati binari li teniamo in files esterni da retrievare via http

... per il formato delle tabelle mi diceva un collega che quello che mi pare si chiami infobright puo' essere molto piu' efficiente del solito myIsam ma non e' adatto per tabelle che cambiano dinamicamente, ma solo per tabelle statiche (anche sul milione di record) su cui fare solo queries ma non updates

... per esperienza so che un valido sistema di indici taglia notevolmente i tempi di accesso (mi e' capitato di tagliare di un fattore 700 su tabelle di poche centinaia di elementi acceduti ripetutamente da una function mettendo un indice) ma non credo il forum administrator abbia tale controllo

... poi se ci sono funzioni/procedure sui record usare le UDF scritte in C++ dovrebbe essere piu' efficiente che usare quelle interne scritte in sql ... che pero' sono assai piu' facili (idem come precedente)

... in quanto all'interfaccia di accesso, pensavo che gli amministratori avessero un accesso da un cliente command line (io faccio quasi tutto da li') e potessero dare comandi tipo

Code: Select all

delete from dbtable where length(messagefield) < n

Nuovo forum: si potrebbe aprirne uno su un servizio gratuito per i messaggi poco importanti (e se vanno persi, pazienza), e tenere questo per quelli da tenere. Però servirebbe l'impegno di tutti per gestire due forum in parallelo copiando qui i messaggi da tenere.

Non mi pare una cosa fattibile in pratica. Io stesso credo che rinuncerei a seguirne uno, specie se avesse una diversa interfaccia. L'unica cosa sarebbe di avere un nuovo forum identico al vecchio che parta "vuoto" e uno vecchio con tutti i thread congelati, che non ammettano postings o modifiche, idealmente statico-html (ma mi sa che si perderebbero le funzioni di search ... a meno di farle via google o altra search engine).

[Astro]

Posto che per i grandi dataset esistono cose come PostgreSQL e che per le serie temporali esiste l'estensione TimescaleDB per velocizzare le operazioni su tabelle anche da 10 miliardi di righe, normalmente nell'hosting il DB è privato (non il DBMS) e l'interfaccia è abbastanza aperta, quindi puoi creare indici tranquillamente.

[Coccodrillo]

In questo momento tutto ok. Ma sto vedendo se riesco a ridurre il carico del server. 120€ al mese comincerebbero a farsi sentire.

[skeggia65]

Ci sono poco meno di 2800 messaggi nelle sezioni "dimenticatoio" degli "altri forum".
C'è un numero imprecisato di argomenti fermi da più di due anni, probabilmente di scarso interesse per tutti.
È un lavoraccio eliminare tutto quel mobilio accatastato in cantina?

[Astro]

Io mi sono riletto molti topic del 2005 o giù di lì. In mezzo alla fuffa c'è molta roba interessante,

[Coccodrillo]

Scrivo solo per dire che non mi sono dimenticato del forum, ma che sto cercando una soluzione economicamente accettabile.

Aggiungo che nel peggiore dei casi, cioè se non riuscissi più a gestire il forum, non sparirebbe all'improvviso perdendo tutto come hanno fatto altri.

[Carrelli1928]

Scusate, per combattere lo spam che ultimamente sta portando molto disordine nel forum, ammesso che Phpbb lo consenta, si potrebbe far sì che i primi due messaggi di un utente devono prima essere approvati da un moderatore e solo dopo l’utente può scrivere liberamente?