Category: Game Section

Nanoc

Vanavond heb ik eens rond gekeken naar static site generators, want dat is wat ik wil voor de website van de Game Section. Die website is nu een wiki, met een handvol pagina's, en zonder dat er iemand anders iets (kan) wijzigen. Daarom had ik het graag statisch gedaan, en dan komen we dus snel uit bij SSG's.

Uiteindelijk heb ik er drie geprobeerd: jekyll (zoals bij GitHub Pages), pelican en nanoc. Pelican had voor mij alvast 1 voordeel, en wel het in Python geschreven is, en de anderen in Ruby. Echter, pelican, en na wat zoeken bleek zo ongeveer alle Python SSG's, zijn sterk gericht op blogging, wat hier dus zeker niet van toepassing is. Ook jekyll heeft blogging functionaliteiten, maat is ook zeer gemakkelijk algemeen inzetbaar. Uiteindelijk koos ik voor nanc, en wel vanwege de flexibiliteit. Het parsen van de source van de pagina's gebeurt bijvoorbeeld door filters, waardoor je zelf een bepaalde filter kan gebruiken voor bv een bepaalde extensie. Één zo'n filter is Pandoc, waardoor virtueel elk formaat ondersteund wordt, inclusief wiki-syntax, waardoor ik de bestaande pagina's, op een paar details na, kon copy-pasten.

Voordat ik het natuurlijk in gebruik kan nemen moet nog een stylesheet worden uitgewerkt, maar de pagina's zijn er al. Ik ben eigenlijk zozeer onder de indruk van nanc, dat ik besloten heb om Online - Urbanus niet naar WordPress te migreren, maar naar nanc. Dat is zeer eenvoudig, want nanc ondersteund ook probleemloos HTML als source.


VPS

Afgelopen week is er heel wat gebeurt ... Al een tijdje was de boot-partitie van mijn Raspberry Pi read-only, wat eigenlijk geen problemen gaf, tot de nieuwe versie van de firmware een extra pakket nodig had, en zo de updates van andere pakketten tegenhield. Daarom heb ik de partitie geremount met rw. En dit leek te werken ... tot de root partitie tijdens het installeren van de updates ro werd.

Uiteindelijk bleek de SD kaart bad sector(en) te hebben. Nieuwe SD kaart met verse installatie zou me 25 euro excl. btw kosten. Aangezien ik al een tijdje af wou van mijn veel te ruime hosting abonnement, leek dit wel een heel goede gelegenheid om een VPS te gaan gebruiken op het cloud systeem van PCextreme. Ik gebruik hierbij een Agile instantie, die eigenlijk gewoon een vrij traditionele VPS is, zonder replication en dergelijke.

Uiteindelijk heb ik de VPS geïnstalleerd en de backups teruggeplaatst, intussen werd ook het certificaat van de blog vernieuwd. Intussen is het blog volledig gehost op de VPS, wat de website een pak sneller maakte. Ik dacht immers dat het vooral de rpi was die het zo traag maakte, maar na de overstap op de VPS zag ik dat de blog gewoon zo lang nodig had om te renderen. Intussen heb ik ook de community fora van de Game Section gemigreerd naar de VPS, meet https, uiteraard.

Het is dus de bedoeling alles over te zetten voor het einde van het jaar, wanneer mijn abonnement ten einde loopt. Ik heb voor dit alles trouwens geen gebruik gemaakt van de Apache en MySQL, maar van nginx en MariaDB. nginx om de simpele reden dat ik hier zeer tevreden over was bij mijn rpi, en ik met name de config sneller is. Over snelheid zal ik me niet uitspreken. MariaDB tov MySQL lijkt me logisch, aangezien MariaDB de GPL-only fork is uit de community, en actieve ontwikkeling kent, terwijl MySQL relatief dood lijkt. Blijkbaar zijn ook de meeste grote tech-bedrijven die MySQL gebruikten overgestapt naar MariaDB, dus ...

Daarnaast heb ik ook een aantal wijzigingen doorgevoerd aan dit blog, en zo is dit de eerste post die geformatteerd werd met markdown, ipv bbcode. De oude posts blijven echter zonder problemen werken met bbcode, dankzij een kleine wijziging aan de Markdown-plugin.

Ik denk er ook sterk over na om de Urbanus-website niet meer als afzonderlijke entiteit te hebben, maar in pagina's op het blog te stoppen, die dan ook onder een nieuw domein zou komen. Dit zou handiger zijn dan het huidige systeem dat afhangt van MyBB, en dat ik natuurlijk zelf up-to-date moet houden. Daarnaast kan ik dan ook wel eens beginnen nadenken over het nut van het forum. Mogelijk zou, zeker vanuit veiligheidsperspectief, het forum verdwijnen, met wel een HTML-versie van het forum. De wiki van de Game Section zou wel eens een gecompileerde wiki kunnen worden. Dit blog wordt mogelijk dan toch Engelstalig.


Instellingen wiki

Ik heb toen ik begon met de strijd tegen SPAM een fout gemaakt inzake de wiki: ik heb me toen beperkt tot het verwijderen ven reeds aanwezige SPAM, niet tot het voorkomen van het toevoegen. Daardoor staan er nu terug 1128 pagina's op de wiki zonder verwijzingen, oftewel, grotendeels SPAM.

Daarom heb ik nu wel die maatregel genomen, ik heb het volgende toegevoegd aan de instellingen:

$wgEmailConfirmToEdit = true;

$wgGroupPermissions['user']['move']             = false;
$wgGroupPermissions['user']['move-subpages']    = false;
$wgGroupPermissions['user']['move-rootuserpages'] = false;
$wgGroupPermissions['user']['read']             = true;
$wgGroupPermissions['user']['edit']             = false;
$wgGroupPermissions['user']['createpage']       = false;
$wgGroupPermissions['user']['createtalk']       = false;
$wgGroupPermissions['user']['writeapi']         = false;
$wgGroupPermissions['user']['upload']           = false;
$wgGroupPermissions['user']['reupload']         = false;
$wgGroupPermissions['user']['reupload-shared']  = false;
$wgGroupPermissions['user']['minoredit']        = false;
$wgGroupPermissions['user']['purge']            = false;

$wgGroupPermissions['sysop']['read']             = true;
$wgGroupPermissions['sysop']['edit']             = true;
$wgGroupPermissions['sysop']['createpage']       = true;
$wgGroupPermissions['sysop']['createtalk']       = true;
$wgGroupPermissions['sysop']['writeapi']         = true;
$wgGroupPermissions['sysop']['minoredit']        = true;
$wgGroupPermissions['sysop']['purge']            = true;

Dat laatste stuk is nodig omdat die zaken geërfd worden door sysop, en ik dus ook die zaken niet meer kan.

Verder zal ik de SPAM plugin van de Game Section ook eens op Online - Urbanus moeten activeren.


Backup ruimte

Ik zag zonet dat ik gisteren een mailtje heb gekregen van PCextreme waarin ze me wijzen op het feit dat ik momenteel 110% van mijn backup ruimte opsoupeer. Momenteel worden daar de backups van het forum en de Game Section Community geplaatst. Ik ben momenteel de backups aan het downloaden. Ik zal nu versneld werk maken van mijn ideeën over mijn backups. Ik ga voorlopig de ruimte niet uitbreiden totdat ik een definitief besluit heb genomen of ik zelf een backup ruimte zou inrichten door middel van VPS. Daarbij zou ik 3,32 per maand kosten voor 25 GB, wanneer ik mijn backup ruimte uitbreid naar 2 GB zou dat 2 euro per maand zijn. Echter, ik denk toch dat ik die stap enkel zou zetten als ik dan ook meteen mijn server verhuis. Dan doe ik dit deze zomer, en zeg ik dan mijn hosting op voor volgend jaar. Zal ik dus wel een 4-tal maanden mijn hosting betaald hebben, maar niet meer gebruiken, echter de prijs van een VPS is lager dan mijn huidige hostingpakket.

Als ik dan effectief alles zou overbrengen naar een VPS zorgt dat echter voor een zeer grote eigen verantwoordelijkheid, welke ik momenteel nog niet vlekkeloos zou kunnen uitoefenen. Ik heb bijvoorbeeld nog geen enkele ervaring met het opstarten van een IMAP server. Ik betwijfel zelf dan ook of ik er aan zal beginnen. Misschien wel als ik voldoende geëxperimenteerd heb met die technieken. Maar voorlopig laat ik het wel zoals het is. Daarnaast is mijn hostingpakket terug uitgebreid, maar ook met een opslag van 0,5 euro. eigenlijk is mijn hostingpakket veel te groot geworden, al sinds de vorige upgrade. Ik zou gerust kunnen downgraden, alleen weet ik niet of er een downgrade optie bestaat. kan/kon ook de upgrade van mijn huidige pakket tegengaan, maar dan verloor ik ook recht op volgende upgrades, en vermits je nooit weet wat de toekomst brengt heb ik daar een beetje moeite mee ...

Eigenlijk blijven er dus toch maar twee opties over: of ik upgrade mijn backup, of ik verander mijn backup beleid. Ik zit er aan te denken om voortaan de mysql backups ook terug op te slaan op de hosting zelf, en de mysql backups niet meer op de backup server te plaatsen. Dit kan toch zorgen voor uitstel van executie. Wanneer de site in zijn geheel over die grens zou gaan, dan doe ik wel 2 GB ruimte, denk ik, en zou ik het waarschijnlijk zowel op een virtuele server hier, als op de backup server kopiëren, mijn backups.

Ik zal dus server 104 starten, een ssh server instellen die enkel verbinding kan maken vanaf PCextreme, ook geen lokale verbindingen dus, lokaal inloggen zal dus enkel rechtstreeks vanaf de server kunnen. Verder zal ik alles netjes verwijderen, zodat mijn partitie niet meteen volloopt. Ik had immers enkele partities aangemaakt voor OpenVZ, maar heb uiteindelijk er maar een van gebruikt, en dat was de eerste, maar ook de kleinste. Ik zal dus eens moeten kijken om de partitie op te schalen, maar doe dat liever nu niet. Dit zal waarschijnlijk een werkje voor volgende week worden.


Birthday list

Zo zag de birthday list van de Game Section forums er eerder vandaag uit:

Zoals je kan zien is de meerderheid van die lijst verbannen van het forum. Niet verwonderlijk als je weet dat bijna 30% van de gebruikers verbannen is. Afgaand op de vermindering dat ik kreeg in de cache door hen te schrappen maken zij de helft uit van de gebruikers die hun geboortedatum aan hebben gegeven. Ik zei het al, ik filter vanaf nu op verbannen gebruikers. Dat heb ik gedaan als volgt:
Open inc/class_datacache.php en zoek:

$query = $db->simple_select("users", "uid, username, usergroup, displaygroup, birthday, birthdayprivacy", "birthday LIKE '$bdaydate-%' OR birthday LIKE '$bdaydateyesterday-%' OR birthday LIKE '$bdaydatetomorrow-%'");

Vervang met:

/*
		 * Paretje was here ...
		 * Replaced the following query to make banned users are no longer on the birthday list.
		 * $query = $db->simple_select("users", "uid, username, usergroup, displaygroup, birthday, birthdayprivacy", "birthday LIKE '$bdaydate-%' OR birthday LIKE '$bdaydateyesterday-%' OR birthday LIKE '$bdaydatetomorrow-%'");
		 */
		$query = $db->simple_select("users", "uid, username, usergroup, displaygroup, birthday, birthdayprivacy", "usergroup!='7' AND (birthday LIKE '$bdaydate-%' OR birthday LIKE '$bdaydateyesterday-%' OR birthday LIKE '$bdaydatetomorrow-%')");

MySQL Backups

De laatste tijd zijn er nogal wat aanpassingen gebeurd aan het systeem van de MySQL backups. Dit gebeurde naar aanleiding van een aantal foutmeldingen bij de automatische backups van deze site, en die van de Game Section. De eerste was omtrent het feit dat ik een ongedefinieerd element van een array gebruikte. Voorafgaande controle op het bestaan van dit element loste dit probleem op.

Een ander probleem deed zich deze week voor. De backups werden niet afgehandeld. Doordat de backup te veel tijd in beslag nam leek de connectie niet meer ten volle te functioneren. Er werd dan ook eerst gezocht naar mogelijke struikelblokken. Ik heb daarom een debug modus ingebouwd. Later bleek het een te grote belasting van de SSH server te zijn.


Backup ruimte op

De laatste dagen krijg ik geregeld een mailtje dat een backup niet is gelukt omdat de schijfruimte op de backup server op is. Nu heb ik even gekeken en blijkt dat ruim 200MB van de beschikbare 1 GB besteed wordt aan deze database backups. Daarom zou ik nog slechts een backup per dag op de backup ruimte plaatsen, of misschien zelfs geen enkele. De andere plaats ik dan op mijn eigen server. Daartoe start ik dan een nieuwe server.

Echter, ik moest nu beslissen of ik een afzonderlijke MySQL server zou gebruiken voor mijn virtuele servers, voor als ik bijvoorbeeld een extra service wil gebruiken op een extra server die gebruik maakt van MySQL. Daartoe wilde ik even controleren of er dus al iets geïnstalleerd was op server 101. Echter, ik dacht eerst even de updates te installeren ... Even vergeten dus dat dit fout afloopt... Deze upgrade naar Debian is echter niet gebeurd, en ik zal zeker nog wachten tot er een nieuwe Debian versie is. Dus volgende zomer, of de zomer daarna zou het moeten gebeuren. Ik wil het niet tijdens het academiejaar, aangezien dit niet in één dagje klaar zal zijn, vrees ik. Al heb ik natuurlijk van alle configuraties een backup, en staat de persoonlijke informatie allemaal op afzonderlijke partities.

Maar soit, ik zal nu dus 101, 103 en 104 creëren. Ik zal dan nog wel eens kijken om 102, de simutrans server terug in gebruik te nemen. Daartoe heb ik terug de Ubuntu 10.04 template gedownload, aangezien het er op lijkt alsof die templates steeds geüpdatet worden. Ik zal dan misschien met een 201 testen of het upgraden werkt.

16/09/2011, 15:50:
Er is inderdaad een verschil tussen beide templates, de grootte verschilt alvast.

16/09/2011, 16:19:
Ik dacht zonet aan iets tijdens het opstellen van mijn servers: samba staat standaard geïnstalleerd, en dat is niet nodig, en dus iets at handig verwijderd kan worden. Vroeger heb ik nog zaken verwijderd, waardoor ik problemen kreeg. Of dit nu was omdat ik gewoon te veel verwijderde, of simpel omdat er een bug in de template zat, ik weet het niet, maar dit is nu toch verwijderd.

apt-get purge auto-remove samba-common samba-common-bin

Dit resulteerde ook in het verwijderen van samba en smbfs. Het was in ieder geval de moeite, 36,8 MB, en dit 5 keer, is toch al een mooie brok. Zeker als je weet dat de partitie voorlopig nog 5 GB groot is.

16/09/2011, 16:23:
Even over iets anders: 2011 is toch wel een record jaar: 8 posts tot nog toe. Minder dan eentje per maand, terwijl het gemiddelde vaak rond de 10 per maand lag, dacht ik.

16/09/2011, 16:31:
Ik heb daarjuist een grote fout gemaakt. Ik heb weliswaar de web-bestanden bewaard, maar ik had blijkbaar dan toch geen backup, waardoor ik dus alle logs en instellingen van apache en awstats dus terug kwijt ben. Ik hoop maar dat ik deze keer niet zoveel werk zal hebben om het naar wens te krijgen. Ik zal het trouwens deze keer wel hier rapporteren. Ik had het gestart tijdens de les Aardrijkskunde, en pas veel later het afgewerkt, waardoor het er nooit is van gekomen. Maar het toont nogmaals aan hoe belangrijk een backup is. Ik ga meer backups nemen, al zullen ze niet volgens de regels van het spel gebeuren. Backup ruimte er voor betalen gaat me net iets te ver. Eventueel dat ik bepaalde zaken wel backup naar mijn desktop, maar de meeste zaken zullen enkel gekopieerd staan op een afzonderlijke partitie op de server.

20/09/2011, 16:43:
Om nfs te kunnen starten in de virtuele machine moet je eerst portmap verwijderen en terug installeren. portmap is namelijk gedeeltelijk verwijderd, waardoor de installatie van nfs niet kan voltooid worden, en de virtuele machine dus onbruikbaar was, althans het package management.

20/09/2011, 18:43:
NFS kan ik niet aan de praat krijgen, want daar heb je een kernel module voor nodig. Waarschijnlijk lukt het wel met een andere OpenVZ kernel, anders gecompileerd, maar ik zal het maar zo laten. Ik zal ssh gebruiken voor de backups. Misschien dat ik er bij de upgrade van mijn server nog eens naar zal kijken.


kevin-server naar Debian!

Daarstraks wou ik mijn simutrans server terug starten. Daarbij installeerde ik de nieuwe software, en ontdekte dat er updates waren. Na de installatie kon ik mijn server niet meer via het netwerk bereiken. In de vakantie zal ik dus mijn server ook naar Debian migreren.


MediaWiki 1.15.4

Eind mei had ik een mailtje gekregen dat de nieuwe versie van MediaWiki verschenen was, maar vanwege de examens had ik nog geen tijd gehad om deze update uit te voeren. Vandaag was het dan zo ver, als voorbereiding op mijn zoveelste "comeback".

Dankzij de techniek die ik bij MediaWiki 1.15.2 voor het eerst gebruikt heb is het nog simpeler geworden, en is de update reeds volledig voltooid.


Terug

Na de Rome reis ben ik er nooit meer toe geraakt, maar vandaag heb ik even tijd om terug mijn online leven te hervatten. Vooral bij de Game Sectie wacht me hoogst waarschijnlijk een hoop vragen. Daarnaast was ik ook bezig aan de Usermap met iemand die een paar aanpassingen wilde maken aan het systeem, dus dat zal ik nu in de loop van de week willen beantwoorden.

Daarnaast heb ik besloten vanaf nu ook tijdens de examens een zekere activiteit te behouden. Het is immers zo dat ik anders simutrans speelde, en toen soms nogal laat in mijn bed zat. Daarom zal ik vanaf deze examens een minimum activiteit behouden, en me vooral bezighouden met het opzoeken van toekomstige onderdelen voor mijn computers.

En zo komt het dat mei 2010, na september 2008, pas de tweede maand is dat er hier niets werd toegevoegd. Ik heb ook enkele reactie verwijderd, komende van mensen waarvan ik zeker weet dat ze niet tot het publiek behoorden. Wat ze schreven weet ik niet.

Ik kan ook zeggen dat ik zo meteen nog een artikel zal toevoegen over wat ik heb gedaan tijdens het songfestival.