Det har vært litt utfordringer med å få data inn i databasene som brukes her. Dette er nå løst midlertidig, slik at data vises som før

Det er flere grunner til at dette har vært litt utfordrende å få til importen av data. Det er ganske mye data som skal havne riktig i de ulike tabellene. Dette er noe som skjer flere ganger i døgnet, da er det en del som kan feile.

Det jobbes med å få løsningen over på en ny og bedre platform. På den nye platformen vil det være mer informasjon om de ulike fartøyene, med bl.a. eierinformasjon. Det vil også være data for flere år tilbake. Planen er å i allefall ha 10 år med historiske data tilgjengelig, det blir litt store databaser, da det er mye data. Dette må optimaliseres slik at løsningen ikke blir for treg.

Det er litt problemer med å få importert data. De datafiler som kommer fra Fiskeridirektoratet inneholder ikke  data. Det jobbes med saken!

Måtte endre litt på "innmaten" på sidene for å få vist data som de skal. Dette innebærer at jeg har definert litt om på en del felt, slik at det ikke er alle data som vises som før. Det kommer nok på plass som det skal.

Har samtidlig lagt til litt flere funksjoner, som gjør at man kan navigere litt enklere, og det kommer mer.

Når alt dette er på plass, og løsningen er oppe å kjører som den skal, da kommer jeg til å fortsette jobben med et nytt grensesnitt

Det er litt problemer med visning av data!

Jobber med saken, og dette skal være endret i løpet av ikke så alt for lang tid.

Det er ganske mye data som skal bearbeides, så det går enda litt tid.

Dette skal være løst nå!

Systemet er også klargjort for nytt år, dvs. at det begynner å importere data for 2020 straks disse er tilgjengellig.

Det er litt problemer med visning av data!

Fiskeridirektoratet har fjernet verdiene for landingsfylker/kommuner i sine data. Dette har nok sammenheng med den fylkes- og kommunesammenslåingen som ble gjort ved nyttår.

Inntil videre er dette data som ikke vises. Dette medfører at det pr nå ikke er mulig å få opp data fylkesvis i menyen på venstre side. Jeg har laget et script som setter inn kommuner, slik at data for kommuner vil vises. Planen er å få laget et tilsvarende script som oppdaterer alle fylker, men det tar litt mer tid. Ferdig i løpet av en dag eller to.

Har lagt inn slik at man får sett litt data selv om man ikke er innlogget. Det vises inntil 10 fiskeslag/fartøy i tilfeldig rekkefølge. Denne visningen endrer seg neste gang du laster sidene.

I en ideell verden så skulle vi vel ønske at alt var gratis, men det er er det ikke. De dataene jeg behandler har ingen verdi så lenge de ligger i i filene sine. Dette blir også såpass mye data at de må behandles litt for at de skal være forståelige, og mulig å lese. Man får rett og slett ikke lastet disse filene inn i f.eks. Excel for å behandle disse. Man må ta i bruk andre verktøy. 

Jeg henter ned data fra Fiskeridirektoratet hver dag, behandler disse ved en masse script, laster dette inn i en database. Når du går inn på nettsidene, og alt ettersom hvilken side, kjøres det nye script som henter ut de dataene du forespør.

Det er ganske mye arbeid å få dette til, en ting er å programmere alt en første gang, men det skal gjøres endringer som kanskje klarer å hente ut data raskere, og mer effektivt. 

Da skjønner du kanskje hvorfor jeg har bestemt meg for å ha dette som en abonnementstjeneste?

Fiskeridirektoratet skriver følgende om Åpne data: fangstdata koblet med fartøydata:

Fangstdata blir stadig mer etterspurt av offentligheten; til forskning, miljøinteressenter med mer. Fiskeridirektoratets praksis har vært å vurdere denne informasjonen som offentlig. Unntakene er pris per seddel som har blitt påberopt som en forretningshemmelighet på landingstidspunktet, og fødselsnummer som behandles som en sensitiv personopplysning (for de som er registrert på enkeltperson). 

Dette vil si at alle de dataene jeg legger ut ikke har noen begrensninger. Ingen persondata publiseres, dvs. ingen sensitive data. 

Dette er en fortsettelse av prosjektet jeg startet i 2018. Prosjektet stoppet opp da Norges Råfisklag gjorde det litt vanskelig for meg å få hentet ut dataene. Jeg kom nærmest med en tilfeldighet over en ny måte å få tilgang til de aktuelle dataene, så da tok jeg opp prosjektet igjen. 

Fiskeridirektoratet legger ut data helt tilbake til år 2000. Dette er data som fritt kan brukes, under lisensen "Norsk lisens for bruk av offentlige data (NLOD)". Dette gjør at jeg bl.a. kan hente ned rådata, sette de sammen med andre data jeg har, og lage oversikter man ikke finner ellers på nett.

Jeg kommer i første omgang til å konsentrere meg om å få vist fram data fra de siste tre årene, dvs. 2017, 2018 og 2019. Det er ufattelig mye data som skal jeg må lage effektiv kode som viser dette raskt. Det er ca 1 million linjer i hver av tabellene for hvert år. 

NB! Bruker du mobiltelefon, kan det være at det ikke er alle data som vises i tabellene, da må du scrolle mot høyre/venstre alt ettersom hvor dataene er.