9 juli - Verwerken na een update van FS

[Gast jakkes]

Misschien vraag je je wel eens af waarom het zo lang duurt voordat een forse update van FS is verwerkt in GenVer. Bij de update van afgelopen maand pas na vijf dagen. (exclusief mijn vakantie)

Voor de geïnteresseerden:

FS heeft in het verleden een denkfout gemaakt, die zij niet zo eenvoudig kunnen herstellen.

Bij elke update krijgen ALLE films een nieuwe ID (bij FS heet dat een waypoint). Dus ook de films, die al vóór een update aanwezig waren.

Vergelijk het maar met het iedere keer een nieuwe postcode uitdelen voor elke straat of deel daarvan, dus ook voor bestaande straten. Daar zou niemand vrolijk van worden.

Dit betekent voor mij, dat ik de voor mij relevante gegevens van ALLE films moet ophalen.

Het gaat bij deze update dan om rond de 100.000 xml-bestandjes van gemiddeld 3 kb.

Deze bestandjes zijn op de FS-site voor de normale gebruiker overigens nooit zichtbaar.

Het begint met het ophalen van alle plaatsnamen per provincie.

Bij plaatsnamen met maximaal 25 films ben ik voor dat deel klaar. Voor plaatsnamen met meer dan 25 films moet ik de rest van die plaatsnamen ook downloaden. De xml-bestandjes werken namelijk in blokken van maximaal 25 records.

Dit uitzoeken (wanneer wel > 25) gaat allemaal met behulp van mijn programma. Zo'n 1.000 bestandjes.

Daarna worden per provincie alle films opgehaald, die ik (mijn programma) in de xml-bestanden gevonden en verwerkt heb. En genereer ik de bestanden, die nodig zijn om alle filmgegevens op te halen.

Daarna volgt het saai werkje om de rest van de 100.000 records te downloaden. Uiteraard wel met een downloadmanager, maar toch.

Per provincie lees ik de opgehaalde bestandjes in en zorgt mijn programma (na download) ervoor, dat de gegevens met eenzelfde DGS (deze kun je terugvinden in het url-adres in je browserbalk) (rood) EN zelfde aantal images EN zelfde startpunt (paars) kunnen vervallen; deze zijn dus al aanwezig.

pal:/MM9.1.i/dgs:004556505.004556505_00053

Ik hou het oude ID, want anders zou ik mijn eventuele opmerking, die daar bij hoort, kwijtraken.

En een extra voordeel daarvan is, dat de bezoeker gelijk kan zien welke film wel of niet nieuw is.

Beginnend met 10 is gloednieuw.

De rest, dat niet gematched kan worden, zou dan nieuw moeten zijn.

In de meeste gevallen is dat ook zo.

Daarna nog wat automatische controles en extra bewerkingen (o.a sortering en aantal image per jaar) uitvoeren en de pagina's voor de desbetreffende provincie kunnen worden aangemaakt en geupload worden.

Tot zover de goedsituatie. Dan komt het betere puzzelwerk.

Het komt echter ook voor, dat FS bij een bepaalde film iets gewijzigd heeft. Dat is de reden, dat na een update wel eens een tijdje dubbele films zichtbaar zijn.

In de meeste gevallen is een dergelijke film echter NIET dubbel.

Een goed voorbeeld is Amsterdam huwelijken:

  8187597 Huwelijken 1922 [3244 img] dgs:004558618.004558618_00001

10708119 Huwelijken 1922 [5255 img] dgs:004558618.004558618_00001

Het gaat hier om dezelfde DGS met een zelfde startpunt, maar met een afwijkend aantal images.

Een verdacht geval.

Na indexering blijken twintig registers van elk 100 images te zijn toegevoegd, die daarvoor nog ontbraken.

Weer wat mensen gelukkig gemaakt.

Zonder GenVer zou je hier never nooit achterkomen.

Hierna volgt een slag, die weken kan duren; alle films, waarvan niet zeker is of ze dubbel zijn, worden nog eens kritisch bekeken, aangepast en daarna volgt er per plaats of provincie een nieuwe upload van de desbetreffende GenVer-pagina's.

Enige dagen na de update druppelen de mails binnen met gevonden fouten.

TIP voor de komende weken:

Zet je cache (browsergeschiedenis) op maximaal één dag of druk zo af en toe op F5 (verversen) dan mis je de aanpassingen niet.

Veel succes met je onderzoek.

Vind je een fout ? Geef deze wel door.

[Gast jakkes]

De nieuwe films van alle provincies zijn verwerkt.

Ben nu druk bezig met allerlei kleine aanpassingen om de overzichten per plaatsnaam zo goed mogelijk te krijgen.

Nogmaals: ID's, die beginnen met een 10 zijn nieuw.

[schippertje]

Heb weer heel wat aktes gevonden in de aanvullingen . Bedankt, ben er heel blij mee en heb veel waardering voor al het werk dat je verzet .

Kwam bij de geboortes in Weststellingwerf de boodschap tegen, dat de de film niet meer benaderbaar was.

Betekend dat , dat die aktes helemaal niet meer te zien zijn, of tijdelijk?

[schippertje]

Hallo Jakkes,

Ik dacht dat het wel beschikbaar was geweest, maar nu niet meer. Hetzelfde speelt bij de geboorten van Hatten ook in die periode. Jammer, maar gelukkig staan héél veel andere aktes er wel op.Succes met je werk, want volgens mij komt daar nog lang geen eind aan.........

[Gast jakkes]

Ik weet niet om welke film het gaat van Hatten of bedoel je Hattem ?

Ook daar heb ik geen problemen gevonden.

Hatten bestaat namelijk ook; een onderdeel van Renkum.

Een ID zou handig zijn; dan kan ik dat vermelden.

[schippertje]

Het gaat inderdaad om Hattem, tikfoutje van mij. Ik heb je daar als eens een mail over gestuurd, want hier ontbreken volgens mij , de geboorteaktes van 1882 tot 1893.

[Gast jakkes]

Dat klopt, maar dat iets anders dan een film, die niet meer beschikbaar is.

Bij elke plaats staat of komt een overzicht met de beschikbare akten.

Van akten, die nog NIET aanwezig zijn, is mij niet bekend wanneer die wel komen en of ze wel komen.