Category: Online - Urbanus

Nanoc

Vanavond heb ik eens rond gekeken naar static site generators, want dat is wat ik wil voor de website van de Game Section. Die website is nu een wiki, met een handvol pagina's, en zonder dat er iemand anders iets (kan) wijzigen. Daarom had ik het graag statisch gedaan, en dan komen we dus snel uit bij SSG's.

Uiteindelijk heb ik er drie geprobeerd: jekyll (zoals bij GitHub Pages), pelican en nanoc. Pelican had voor mij alvast 1 voordeel, en wel het in Python geschreven is, en de anderen in Ruby. Echter, pelican, en na wat zoeken bleek zo ongeveer alle Python SSG's, zijn sterk gericht op blogging, wat hier dus zeker niet van toepassing is. Ook jekyll heeft blogging functionaliteiten, maat is ook zeer gemakkelijk algemeen inzetbaar. Uiteindelijk koos ik voor nanc, en wel vanwege de flexibiliteit. Het parsen van de source van de pagina's gebeurt bijvoorbeeld door filters, waardoor je zelf een bepaalde filter kan gebruiken voor bv een bepaalde extensie. Één zo'n filter is Pandoc, waardoor virtueel elk formaat ondersteund wordt, inclusief wiki-syntax, waardoor ik de bestaande pagina's, op een paar details na, kon copy-pasten.

Voordat ik het natuurlijk in gebruik kan nemen moet nog een stylesheet worden uitgewerkt, maar de pagina's zijn er al. Ik ben eigenlijk zozeer onder de indruk van nanc, dat ik besloten heb om Online - Urbanus niet naar WordPress te migreren, maar naar nanc. Dat is zeer eenvoudig, want nanc ondersteund ook probleemloos HTML als source.


VPS

Afgelopen week is er heel wat gebeurt ... Al een tijdje was de boot-partitie van mijn Raspberry Pi read-only, wat eigenlijk geen problemen gaf, tot de nieuwe versie van de firmware een extra pakket nodig had, en zo de updates van andere pakketten tegenhield. Daarom heb ik de partitie geremount met rw. En dit leek te werken ... tot de root partitie tijdens het installeren van de updates ro werd.

Uiteindelijk bleek de SD kaart bad sector(en) te hebben. Nieuwe SD kaart met verse installatie zou me 25 euro excl. btw kosten. Aangezien ik al een tijdje af wou van mijn veel te ruime hosting abonnement, leek dit wel een heel goede gelegenheid om een VPS te gaan gebruiken op het cloud systeem van PCextreme. Ik gebruik hierbij een Agile instantie, die eigenlijk gewoon een vrij traditionele VPS is, zonder replication en dergelijke.

Uiteindelijk heb ik de VPS geïnstalleerd en de backups teruggeplaatst, intussen werd ook het certificaat van de blog vernieuwd. Intussen is het blog volledig gehost op de VPS, wat de website een pak sneller maakte. Ik dacht immers dat het vooral de rpi was die het zo traag maakte, maar na de overstap op de VPS zag ik dat de blog gewoon zo lang nodig had om te renderen. Intussen heb ik ook de community fora van de Game Section gemigreerd naar de VPS, meet https, uiteraard.

Het is dus de bedoeling alles over te zetten voor het einde van het jaar, wanneer mijn abonnement ten einde loopt. Ik heb voor dit alles trouwens geen gebruik gemaakt van de Apache en MySQL, maar van nginx en MariaDB. nginx om de simpele reden dat ik hier zeer tevreden over was bij mijn rpi, en ik met name de config sneller is. Over snelheid zal ik me niet uitspreken. MariaDB tov MySQL lijkt me logisch, aangezien MariaDB de GPL-only fork is uit de community, en actieve ontwikkeling kent, terwijl MySQL relatief dood lijkt. Blijkbaar zijn ook de meeste grote tech-bedrijven die MySQL gebruikten overgestapt naar MariaDB, dus ...

Daarnaast heb ik ook een aantal wijzigingen doorgevoerd aan dit blog, en zo is dit de eerste post die geformatteerd werd met markdown, ipv bbcode. De oude posts blijven echter zonder problemen werken met bbcode, dankzij een kleine wijziging aan de Markdown-plugin.

Ik denk er ook sterk over na om de Urbanus-website niet meer als afzonderlijke entiteit te hebben, maar in pagina's op het blog te stoppen, die dan ook onder een nieuw domein zou komen. Dit zou handiger zijn dan het huidige systeem dat afhangt van MyBB, en dat ik natuurlijk zelf up-to-date moet houden. Daarnaast kan ik dan ook wel eens beginnen nadenken over het nut van het forum. Mogelijk zou, zeker vanuit veiligheidsperspectief, het forum verdwijnen, met wel een HTML-versie van het forum. De wiki van de Game Section zou wel eens een gecompileerde wiki kunnen worden. Dit blog wordt mogelijk dan toch Engelstalig.


Fonts

Eergisteren ben ik begonnen met het aanpassen van mijn stylesheets, en Verdana, die meestal geen alternatief had, te vervangen door sans-serif. Nu, toen ik vandaag dit ook wou doen op het forum en de site (blog en uploads waren reeds gebeurd) vroeg ik me af hoe men aan het Sans font komt onder Debian. Dit is een soort voorstelling van het standaard sans-serif font. Dit wordt geconfigureerd in /etc/fonts/conf.avail/60-latin.conf, waar in principe Bitstream Vera Sans als eerste staat, maar tegenwoordig wordt dit niet meer geïnstalleerd, en wordt dus de 2de in de rij gebruikt, DejaVu Sans, welke eigenlijk een doorontwikkeling is van de Bitstream font. Nu, dit is volledig conform mijn vermoedens.

Nu, de reden dat ik Verdana overal wou veranderen is gedeeltelijk uit principe, om de gebruiker de vrije keus te laten wat voor font te gebruiken, maar ook ingegeven door het feit dat ik al een tijdje, op Citrix voor Athena na (en het BIOS), alle non-free software verwijderd heb van mijn Eee PC, al was het niet veel, enkel unrar, flash en de MS fonts. Nu, de fontconfig op mijn Eee PC blijkt niet geüpdatet te zijn bij de upgrade naar Wheezy, want op mijn desktop wordt er automatisch een andere sans-serif gebruikt.

Nu, er zijn ook een aantal aliassen gemaakt in 30-metric-aliases.conf, maar niet voor Verdana. Nochtans, DejaVu Sans kan zeker als vervanger voor Verdana dienen, al gebeurt dit dus op zich automatisch, aangezien dat het standaard sans-serif font is. Echter, MyBB definieert bijvoorbeeld als alternatief voor Verdana Arial, die heeft wel een alias. Hierdoor bestaat Arial dus plots, en wordt "Arial" gebruikt. Nu, ik zou liever hebben dat dit netjes Verdana is, en dus moet ik de code, of toch zeker die van het MS font naar het vrije alternatief (het omgekeerde staat er ook in, maar is dus hier zeker niet nodig), kopiëren naar .fonts.conf in mijn home directory. Als ik die code dan aanpas voor het gewenste effect bekom ik het volgende:

<?xml version="1.0"?>
<!DOCTYPE fontconfig SYSTEM "fonts.dtd">
<fontconfig>
	<alias binding="same">
	  <family>Verdana</family>
	  <accept>
	  <family>DejaVu Sans</family>
	  </accept>
	</alias>
</fontconfig>

Backup ruimte (2)

Een tijdje terug heb ik een e-mail gekregen van PCextreme met de melding dat de backupruimte vol was. Ik heb toen de MySQL backups verwijderd, en die dit weekend geplaatst op een lokale virtuele server. Nu blijkt eclpise de schuldige te zijn. Ik heb die toegevoegd aan de repo, en die is goed voor meer dan 235 MB. Ik heb dus besloten de repo niet langer bij PCextreme te backuppen, aangezien de repo toch een kopie is van wat ik lokaal op de server aanmaak met reprepro.

30/11/2011, 09:24:
Ik had eerst het volgende aan mijn commando toegevoegd:
exclude=/home/vhosting/c/vhost0008804/domains/online-urbanus.be/htdocs/repo

Maar, dat werkte niet en even zoeken op het internet leidde me naar dit draadje waardoor ik het volgende probeerde, en dit blijkt wel te werken:
exclude=htdocs/repo


Backup ruimte

Ik zag zonet dat ik gisteren een mailtje heb gekregen van PCextreme waarin ze me wijzen op het feit dat ik momenteel 110% van mijn backup ruimte opsoupeer. Momenteel worden daar de backups van het forum en de Game Section Community geplaatst. Ik ben momenteel de backups aan het downloaden. Ik zal nu versneld werk maken van mijn ideeën over mijn backups. Ik ga voorlopig de ruimte niet uitbreiden totdat ik een definitief besluit heb genomen of ik zelf een backup ruimte zou inrichten door middel van VPS. Daarbij zou ik 3,32 per maand kosten voor 25 GB, wanneer ik mijn backup ruimte uitbreid naar 2 GB zou dat 2 euro per maand zijn. Echter, ik denk toch dat ik die stap enkel zou zetten als ik dan ook meteen mijn server verhuis. Dan doe ik dit deze zomer, en zeg ik dan mijn hosting op voor volgend jaar. Zal ik dus wel een 4-tal maanden mijn hosting betaald hebben, maar niet meer gebruiken, echter de prijs van een VPS is lager dan mijn huidige hostingpakket.

Als ik dan effectief alles zou overbrengen naar een VPS zorgt dat echter voor een zeer grote eigen verantwoordelijkheid, welke ik momenteel nog niet vlekkeloos zou kunnen uitoefenen. Ik heb bijvoorbeeld nog geen enkele ervaring met het opstarten van een IMAP server. Ik betwijfel zelf dan ook of ik er aan zal beginnen. Misschien wel als ik voldoende geëxperimenteerd heb met die technieken. Maar voorlopig laat ik het wel zoals het is. Daarnaast is mijn hostingpakket terug uitgebreid, maar ook met een opslag van 0,5 euro. eigenlijk is mijn hostingpakket veel te groot geworden, al sinds de vorige upgrade. Ik zou gerust kunnen downgraden, alleen weet ik niet of er een downgrade optie bestaat. kan/kon ook de upgrade van mijn huidige pakket tegengaan, maar dan verloor ik ook recht op volgende upgrades, en vermits je nooit weet wat de toekomst brengt heb ik daar een beetje moeite mee ...

Eigenlijk blijven er dus toch maar twee opties over: of ik upgrade mijn backup, of ik verander mijn backup beleid. Ik zit er aan te denken om voortaan de mysql backups ook terug op te slaan op de hosting zelf, en de mysql backups niet meer op de backup server te plaatsen. Dit kan toch zorgen voor uitstel van executie. Wanneer de site in zijn geheel over die grens zou gaan, dan doe ik wel 2 GB ruimte, denk ik, en zou ik het waarschijnlijk zowel op een virtuele server hier, als op de backup server kopiëren, mijn backups.

Ik zal dus server 104 starten, een ssh server instellen die enkel verbinding kan maken vanaf PCextreme, ook geen lokale verbindingen dus, lokaal inloggen zal dus enkel rechtstreeks vanaf de server kunnen. Verder zal ik alles netjes verwijderen, zodat mijn partitie niet meteen volloopt. Ik had immers enkele partities aangemaakt voor OpenVZ, maar heb uiteindelijk er maar een van gebruikt, en dat was de eerste, maar ook de kleinste. Ik zal dus eens moeten kijken om de partitie op te schalen, maar doe dat liever nu niet. Dit zal waarschijnlijk een werkje voor volgende week worden.


MySQL Backups

De laatste tijd zijn er nogal wat aanpassingen gebeurd aan het systeem van de MySQL backups. Dit gebeurde naar aanleiding van een aantal foutmeldingen bij de automatische backups van deze site, en die van de Game Section. De eerste was omtrent het feit dat ik een ongedefinieerd element van een array gebruikte. Voorafgaande controle op het bestaan van dit element loste dit probleem op.

Een ander probleem deed zich deze week voor. De backups werden niet afgehandeld. Doordat de backup te veel tijd in beslag nam leek de connectie niet meer ten volle te functioneren. Er werd dan ook eerst gezocht naar mogelijke struikelblokken. Ik heb daarom een debug modus ingebouwd. Later bleek het een te grote belasting van de SSH server te zijn.


Backup ruimte op

De laatste dagen krijg ik geregeld een mailtje dat een backup niet is gelukt omdat de schijfruimte op de backup server op is. Nu heb ik even gekeken en blijkt dat ruim 200MB van de beschikbare 1 GB besteed wordt aan deze database backups. Daarom zou ik nog slechts een backup per dag op de backup ruimte plaatsen, of misschien zelfs geen enkele. De andere plaats ik dan op mijn eigen server. Daartoe start ik dan een nieuwe server.

Echter, ik moest nu beslissen of ik een afzonderlijke MySQL server zou gebruiken voor mijn virtuele servers, voor als ik bijvoorbeeld een extra service wil gebruiken op een extra server die gebruik maakt van MySQL. Daartoe wilde ik even controleren of er dus al iets geïnstalleerd was op server 101. Echter, ik dacht eerst even de updates te installeren ... Even vergeten dus dat dit fout afloopt... Deze upgrade naar Debian is echter niet gebeurd, en ik zal zeker nog wachten tot er een nieuwe Debian versie is. Dus volgende zomer, of de zomer daarna zou het moeten gebeuren. Ik wil het niet tijdens het academiejaar, aangezien dit niet in één dagje klaar zal zijn, vrees ik. Al heb ik natuurlijk van alle configuraties een backup, en staat de persoonlijke informatie allemaal op afzonderlijke partities.

Maar soit, ik zal nu dus 101, 103 en 104 creëren. Ik zal dan nog wel eens kijken om 102, de simutrans server terug in gebruik te nemen. Daartoe heb ik terug de Ubuntu 10.04 template gedownload, aangezien het er op lijkt alsof die templates steeds geüpdatet worden. Ik zal dan misschien met een 201 testen of het upgraden werkt.

16/09/2011, 15:50:
Er is inderdaad een verschil tussen beide templates, de grootte verschilt alvast.

16/09/2011, 16:19:
Ik dacht zonet aan iets tijdens het opstellen van mijn servers: samba staat standaard geïnstalleerd, en dat is niet nodig, en dus iets at handig verwijderd kan worden. Vroeger heb ik nog zaken verwijderd, waardoor ik problemen kreeg. Of dit nu was omdat ik gewoon te veel verwijderde, of simpel omdat er een bug in de template zat, ik weet het niet, maar dit is nu toch verwijderd.

apt-get purge auto-remove samba-common samba-common-bin

Dit resulteerde ook in het verwijderen van samba en smbfs. Het was in ieder geval de moeite, 36,8 MB, en dit 5 keer, is toch al een mooie brok. Zeker als je weet dat de partitie voorlopig nog 5 GB groot is.

16/09/2011, 16:23:
Even over iets anders: 2011 is toch wel een record jaar: 8 posts tot nog toe. Minder dan eentje per maand, terwijl het gemiddelde vaak rond de 10 per maand lag, dacht ik.

16/09/2011, 16:31:
Ik heb daarjuist een grote fout gemaakt. Ik heb weliswaar de web-bestanden bewaard, maar ik had blijkbaar dan toch geen backup, waardoor ik dus alle logs en instellingen van apache en awstats dus terug kwijt ben. Ik hoop maar dat ik deze keer niet zoveel werk zal hebben om het naar wens te krijgen. Ik zal het trouwens deze keer wel hier rapporteren. Ik had het gestart tijdens de les Aardrijkskunde, en pas veel later het afgewerkt, waardoor het er nooit is van gekomen. Maar het toont nogmaals aan hoe belangrijk een backup is. Ik ga meer backups nemen, al zullen ze niet volgens de regels van het spel gebeuren. Backup ruimte er voor betalen gaat me net iets te ver. Eventueel dat ik bepaalde zaken wel backup naar mijn desktop, maar de meeste zaken zullen enkel gekopieerd staan op een afzonderlijke partitie op de server.

20/09/2011, 16:43:
Om nfs te kunnen starten in de virtuele machine moet je eerst portmap verwijderen en terug installeren. portmap is namelijk gedeeltelijk verwijderd, waardoor de installatie van nfs niet kan voltooid worden, en de virtuele machine dus onbruikbaar was, althans het package management.

20/09/2011, 18:43:
NFS kan ik niet aan de praat krijgen, want daar heb je een kernel module voor nodig. Waarschijnlijk lukt het wel met een andere OpenVZ kernel, anders gecompileerd, maar ik zal het maar zo laten. Ik zal ssh gebruiken voor de backups. Misschien dat ik er bij de upgrade van mijn server nog eens naar zal kijken.


Urbasearch

Ik heb gemerkt dat er een probleem is met de indexering van de site. Deze wordt immers enkel geïndexeerd in het Engels. Daarom zal ik eens kijken hoe ik dit probleem kan oplossen, of anders desnoods enkel in het Nederlands, aangezien de inhoud in het Engels toch nihil is.

06/06/2010, 22:37:
Ondertussen is dit probleem opgelost in Urbasearch. Voor de andere bots zal ik een andere oplossing zoeken. Ik zal de language selector aanpassen voor bots, zodat die de verschillende talen kunnen vinden en indexeren.


Online - Urbanus 2.0

Gisteren was het dan eindelijk zo ver: ik heb het forum gesloten, de plugins gedeactiveerd, en ik heb MyBB geupgraded van MyBB 1.2.14 naar 1.4.12. Naar de versienummers te zien was het nu het moment :P

Alles is vlot verlopen. Verder heb ik nog een aantal kleine bugs gevonden in het TangoBlue thema. Deze zijn gefixt nu, dankzij deze praktijktest. Waarschijnlijk zal ik het dan maar eens releasen, ik heb immers daar oooit de toestemming van P@trick voor gekregen.

Alles is vlot verlopen. Nu moet ik wel nog de cronjobs aanpassen om het nieuwe systeem te aanvaarden. Ik krijg met name van de Nieuwsbrief cronjob een hele reeks errors. Verder moet ik ook nog eens mijn icons purger runnen, want nu werkt dit niet.

Verder moet ik nog alle plugins terug downloaden en activeren. Als dat allemaal gebeurd is is mijn uploads site aan de beurt. Deze heeft namelijk ook last van afkickverschijnselen.

17/04/2010, 15:35:
De bestanden op Online - Urbanus Uploads zijn nu terug beschikbaar. De interface om in te loggen en bestanden te uploaden moet echter nog bijgewerkt worden. De basis van dit nieuwe systeem is een global die ik gemaakt heb op basis van de init.php file en global.php file van MyBB. Enkel wat nodig is van de global.php is meegenomen. Het merendeel van de init.php is meegenomen, maar ook daar zijn de nodige zaken geschrapt, of een eigen versie gekregen. Bijvoorbeeld de zaken die bedoeld zijn voor de gebruikers, aangezien ik een afzonderlijke tabel gebruik voor uploads.

17/04/2010, 17:26:
Online - Urbanus Uploads is ondertussen al enige tijd volledig geconverteerd. Alle problemen zijn opgelost, en er zijn ook enkele andere verbeteringen gebeurd. Zo heb ik onder andere ook het design verbeterd. Dat was namelijk nogal erg gebaseerd op center tags, het hele design stond vol met op elkaar volgende center tags. Nu is er slechts één enkele meer, die ik straks zal vervangen door een span.

17/04/2010, 17:46:
Zie juist dat ik vergeten ben om de delete functie te converteren ...

17/04/2010, 17:55:
En de upgrade is nu volledig. De volledige upgrade en alles dat er bij hoorde heeft dus een dag geduurd. Ik moet enkel nog eens dit blog bijwerken, maar dat zal ten vroegste voor volgende week zijn ;)


Online – Urbanus RC1

Ik heb woensdag na de het werk aan de Game Section en Usermap terug wat werk gestopt in de nieuwe versie van Online - Urbanus. Zo heb ik De beste Urbanus site geconverteerd. Deze zal niet profiteren van de nieuwe mogelijkheden, aangezien ik slechts het nodige heb gedaan om alles terug werkend te krijgen.

Ook de nieuwsbrief, de downloads sectie, de songteksten, de strips, ... zijn zorgvuldig overgebracht naar het nieuwe systeem. Bij de nieuwsbrief heb ik nu alles in de database gestopt, waardoor het aantal bestanden nog verminderd is. Verder heb ik bij de strips het geheel algemener gemaakt zodat het later gemakkelijker is geworden om ook bv. een lijst van de luxe uitgave aan te maken.

De Downloads sectie zal voortaan enkel nog beschikbaar zijn op de site, het aanpasbare forum gedeelte is verdwenen. Daardoor is het nu voorgoed een archief. Mogelijk zal ik later nog wel eens de comments terug tonen, maar toevoegen is verleden tijd. Aangezien het niet meer gebruikt wordt/werd, ben ik ook niet van zin om veel tijd te steken in het converteren naar het nieuwe systeem.

Hiermee zal Online - Urbanus bijna 2 jaar na de release eindelijk gebruik gaan maken van MyBB 1.4. Enkel het gastenboek dient nog bijgewerkt te worden, voor de release. Na de release zal enkel het thema hier op het blog moeten bijgewerkt worden. Dit zal gedeeltelijk gebeuren bij de release, maar zal pas later volledig worden bijgewerkt naar de nieuwe "normen" van de Online - Urbanus style-macht :P

Urbasearch, een nieuwe search engine over Urbanus:

Nieuwe downloads section: