Posts tagged "Open Data"

Data als doel of middel?

Tijdens de vele jaren waarin ik als informatie architect bezig ben met het vormgeven van digitale diensten blijft eenzelfde spanningsveld terugkeren. Een spanning die het gevolg is van verschillende uitgangspunten: data en technologie als doel of als middel, verder bouwen op wat er is of opnieuw beginnen. Het komt vaak voor dat er tijdens een veranderingstraject discussie ontstaat over fundamenteel verschillende uitgangspunten.

Een situatieschets van 3 verschillende uitgangspunten:

  1. We zullen alle data die we doorheen de tijd gecreëerd hebben samenbrengen.
    Deze data zullen we verrijken met gegevens die vrij of tegen betaling beschikbaar zijn.
    Deze verrijkte dataverzameling is het uitgangspunt voor het bedenken van nieuwe vormen van dienstverlening.
  2. We bedenken een nieuwe vorm van dienstverlening en onderzoeken vervolgens welke data daarvoor nodig zijn.
    Deze data zullen we zelf creëren of afnemen van partijen die deze vrij of tegen betaling ter beschikking stellen.
  3. We onderzoeken de noden van ons publiek en gaan op basis daarvan (ver)nieuw(d)e diensten ontwikkelen.
    De data die daarvoor nodig zijn gaan we verzamelen of  zelf creëren.

Ook al lijkt het derde uitgangspunt het beste is het niet zo dat de twee andere fout zijn. Om te innoveren is het nodig om te experimenteren en daarvoor zijn de eerste twee opties soms meer voor de hand liggend. Het onderzoek dat genoemd wordt in optie 3 kan ook gebeuren door de combinatie van 1 en 2.

Het probleem ligt niet bij het kiezen van de juiste optie, maar wil in het feit dat er bij aanvang van een veranderingstraject vaak niet gekozen wordt omdat er een kader ontbreekt om beslissingen te nemen.

Open en linked data

De emancipatiestrijd van data en de semantische onderbouw van het web zorgden ervoor dat veel organisaties (terecht!) bezig zijn met het openstellen, hergebruiken en linken van datasets. Waarom zouden we het warm water opnieuw uitvinden, waarom data creëren en beheren waar iemand anders al mee bezig is, waarom lokaal denken als het web globaal is, waarom semantische relaties tussen data en objecten niet visualiseren? Het zijn maar enkele van de redenen om in te zetten op open en linked data.

Hackathons zijn de speelplaatsen voor data-nerds. Het is fantastisch dat er alsmaar meer speelplaatsen zijn! Tijdens de hackathons mag er gespeeld worden met (tijdelijk) vrij beschikbare data. Het is de eerste optie en het is duidelijk dat er uit dat spelen geleerd kan worden. Zowel de ontwikkelaars als de eigenaars van data steken veel op als er nieuwe producten mee gemaakt worden. Het uitpakken met technische data-hoogstandjes is de drijfveer voor de eerste twee uitgangspunten: nieuwe diensten op basis van beschikbare data. Ze resulteren vaak in virtuoze interfaces met een hoog wow-effect. Deze zijn nodig om al zoekend te innoveren. Een prototype dat losgelaten wordt op een publiek kan aantonen wat de goede en minder goede ideeën zijn.

Kiezen voor zekerheid of experiment

De eerste twee uitgangspunten impliceren dat er gekozen wordt voor experiment: hoe en welke data kunnen verrijkt worden, welke nieuwe vormen van dienstverlening zijn mogelijk? Experiment is nodig om te vernieuwen. Maar er stelt zich een probleem als de eerste twee uitgangspunten toegepast worden in een situatie waar ze niet als experiment bedoeld zijn.

Als je voor zekerheid wil kiezen dan is het nodig om te bepalen voor welk publiek je bezig bent en waar dat publiek behoefte aan heeft. Met deze kennis kan vervolgens beslist worden welke data nodig zijn om producten of diensten te ontwikkelen of verbeteren. Dat onderzoek kan in de vorm van experimenten opgezet worden. Het is jammer genoeg vaak zo dat de behoeften niet onderzocht worden en dat een ‘experiment’ opgezet wordt als hét nieuwe product voor de komende jaren. De gevolgen daarvan: hoge investeringen voor diensten waar niemand écht behoefte aan heeft of weinig gebruiksvriendelijk uitgewerkte interfaces.

Kiezen voor lange of korte termijn

De keuze om meteen voor écht te ontwikkelen heeft dikwijls te maken met een kortetermijnstrategie waarbij geredeneerd wordt dat iets nieuw bouwen op basis van wat er al is minder kost dan iets te onderzoeken met als kans dat er vanaf nul opnieuw gestart moet worden. Met kortetermijnstrategie is er op zich niets fout als er een langetermijnstrategie tegenover staat waarin de experimenten passen.

Een strategie bepalen

Alvorens in te zetten op een veranderingstraject is het van belang om een overkoepelende strategie te bepalen waarin experiment, productontwikkeling, korte en lange termijndoelen een plaats naast elkaar krijgen. Dat hoeft geen document van 100 pagina’s te zijn. Het vastleggen de design-principes of uitgangspunten voor het ontwikkelen van producten die voor jouw organisatie van belang zijn, kan volstaan als referentiekader om beslissingen te nemen.

ShelfLife, een voorbeeld van innovatie

Bibliotheken en Open Data, het ligt voor de hand dat dit samengaat toch?  Een voorbeeld dichtbij is de bibliotheekcatalogus van UGent waar download & api als een mogelijk gebruik vernoemd is op de website. Naast de standaardfunctionaliteit om te zoeken kan je de data dus ook los van de UGent interface benaderen en er zelf een toepassing op bouwen. De open data, of de voorwaarde om te innoveren, is er dus.  De innovatie zelf is meestal geen automatisch gevolg van het openstellen van datasets. ShelfLife, is daarom een interessant voorbeeld.  Het is een vernieuwende front end toepassing op de open dataset van LibraryCloud.

Shelflife is a community-based wayfinding tool for navigating the vast resources of the combined Harvard Library System. It enables researchers, teachers, scholars, and students to find what they need and help others learn from them and their paths.

ShelfLife is niet alleen interessant omdat het een relatief uniek voorbeeld is, het is ook interessant omdat één van de projectbezielers David Weinberger is die zijn ideeën uit Everything is Miscellanous verwerkt in een interface om boekencollecties te visualiseren.  In ShelfLife wordt geëxperimenteerd met het verband tussen ordening in fysieke en digitale omgevingen. Er wordt vertrokken vanuit de metafoor van een boekenrek.

Zoeken zonder nekpijn
ShelfLife is een digitale toepassing. Er zijn bijgevolg geen grenzen met betrekking tot ruimte of ordening. Daarom liggen de boeken in dit rek neer. Dat is de eenvoudigste manier om de rugtitel op een boek te lezen.  Boeken zo stapelen in een bibliotheek zou problematisch zijn omwille van plaats, de zwaartekracht en het uitlenen van het onderste boek uit de stapel. De beperkingen van een fysieke ruimte bezorgen ons keer op keer nekpijn na een lang bezoek aan een bibliotheek of boekhandel.

Old & new, of bekend en onbekend
Het vasthouden aan de old-fashioned presentatie van een boekenrek wordt door David Weinberger verdedigd vanuit het creëren van context. Een publicatie of werk ontleent zijn betekenis niet alleen aan zichzelf, maar ook aan de relatie met andere werken. Deze relaties zijn in het digitale oneindig. Elk kenmerk van een object is een potentieel ordeningscriterium. Dat weten we al langer, maar de moeilijkheid is om deze oneindigheid aan mogelijkheden om te zetten in een intuïtief bruikbare interface. Het creëren van een herkenbare ervaring is de tweede reden om te vertrekken vanuit het boekenrek als “familiar metaphor”.

Ordening is meer dan volgorde
In ShelfLife worden heat maps gebruikt om de populariteit van een werk weer te geven. De diepte van het kleur blauw varieert naargelang de mate van populariteit. Deze variabele wordt berekend op basis van de vele metadata die beschikbaar zijn via LibraryCloud: aantal uitleningen van een werk, aantal bibliotheken met het werk in de collectie, aantal kopieën van het werk per bibliotheek, aantal user ratings of tags, aantal keer toegevoegd aan een leeslijstje, … De aantallen worden opgeteld als de ShelfRank*.  De ShelfRank is samen met andere kenmerken bepalend voor de StackView. Er worden dus ordenings- of betekenislagen toegevoegd aan de volgorde.

Stack View from Harvard Library Innovation Lab on Vimeo.

Context is king

Weinberger sees value in collecting as much information as possible about the usage of works, because that adds to the contextual richness

Met ShelfLife is het mogelijk om een persoonlijke context te creëren.  Door het transparant maken van de ShelfRank kan je bijvoorbeeld kiezen voor een rangschikking op basis van kenmerken van bibliotheekmedewerkers, lezers, Wikipedia, …
De interface nodigt je uit om zoekacties te bewaren zodat het zoekpad naar een titel helpt bij het creëren van nieuwe contexten. Uiteraard word je via ShelfLife ook uitgenodigd om zelf de titels te taggen. Deze tags vormen een bijkomende context voor jezelf of voor anderen.

Mijn bibliotheek
Je eigen tags worden in een andere kleur weergegeven. Deze kleine ingreep maakt dat je persoonlijke bibliotheek meer zichtbaar wordt in dit grote geheel. Het maken van lijstjes is met de Collection Manager ontwikkeld als een ervaring die het fysiek ordenen simuleert: boeken kunnen versleept of verplaatst worden binnen je persoonlijke collecties.
Zoekresultaten in ShelfLife kunnen gefilterd worden op de collectie van je eigen lokale bibliotheek (als die meewerkt aan het LibraryCloud project). Elke filtering kan gewidgetized worden. Dit betekent dat bibliotheken een ShelfLife-view op de lokale collectie kunnen embedden op de eigen website.  Of, wil je als eindgebruiker een persoonlijke cluster van bibliotheken waarvan je lid bent als standaard zoekomgeving? Dat kan ook.

The sky is the limit, but less is more
Het idee is dat elke ordening en context die je kunt bedenken mogelijk moet zijn met ShelfLife. Stel dat er in de fysieke bibliotheek een rek is waarop alle publicaties staan die gebruikt worden in lessen aan de universiteit. Het is een interessante maar onpraktische ordening in een bibliotheek omdat het boek dan op een andere plaats niet meer kan gevonden worden. Dit soort beperkingen zijn er niet in het digitale.  In het digitale kan alles. Maar! Hoe presenteer je dit allemaal? Less is more als het gaat over usability. Het moet intuïtief blijven, en onze intuïtie is (groten?)deels gebaseerd op hoe we handelen in een fysieke omgeving.

Information Architecture is king
Hier wou ik dus toe komen 😉 De databerg is realiteit geworden. We pleiten voor open data. Er zijn protocollen, standaarden en concepten: linked data, het semantic web, … Maar er is een missing link: de link tussen data en personen.  Hoe kunnen we komen tot zinvolle en bruikbare interfaces die verder gaan dan het tonen dat iets werkt? De killer application is er nog niet. Ook niet met ShelfLife. Het is wel een interessant voorbeeld omwille van het experiment en de ideeën over ordening.

Van data- naar mensenstromen
De ideeën van ShelfLife kunnen naar elke sector getransponeerd worden. Stel dat alle data van onze openbare vervoersmaatschappijen open zouden zijn. Alle! Ook data die in ticket- en abonnementsystemen zit en mogelijk door de organisaties zelf nog niet volledig ontgonnen is. Met deze data zouden we toepassingen kunnen bedenken die ons suggereren welke trein we moeten nemen als we een uur zonder medepassagiers willen reizen. Die minder druk bezette treinen zouden wel eens drukker bezet kunnen worden. Of, hoe het visualiseren van datastromen ook mensenstromen kan beïnvloeden. Is dat niet boeiend?

* voor insiders: ShelfRank = (RoseRank -uitleendata <-toen nog niet beschikbaar)

LibraryCloud, een voorwaarde tot innovatie

LibraryCloud is een open metadata server die opgezet is door de Harvard Library Innovation Laboratory. Op de server worden metadata van bibliotheken en andere organisaties geaggregeerd en vrij beschikbaar gesteld als Linked Open Data en via API‘s. Het doel van LibraryCloud is om innovatief gebruik van collectie-data te stimuleren.

The aim is to enable completely unexpected disruptive innovation

Interessant omwille van de inhoud
LibraryCloud stelt meer dan 12 miljoen bibliografische records vrij beschikbaar, maar is vooral bijzonder omwille van het feit dat er naast de metadata over vorm en inhoud van de publicaties ook data over het gebruik van de bibliotheekcollecties beschikbaar is: o.a. uitleengegevens van de voorbije 10 jaar aan Harvard! De metadata-verzameling geeft info over het gebruik van titels in de lessen en reservaties door studenten.  Daarnaast zijn ook verwijzingen toegevoegd naar digitale versies en Wikipedia-boekenpagina’s. Als je nu zou denken dat dit enkel interessant is binnen een academische setting kan ik je geruststellen.  LibraryCloud bevat ook enkele miljoenen bibliografische records en bijhorende uitleendata van openbare bibliotheken: de San Francisco Public Library, de San Jose Public Libary en de Darien CT Public Library.
Wat nog ontbreekt is wat de lezers zelf over de collectie vertellen.  Daar is ook aan gedacht: er wordt een verrijking aangekondigd met gegevens uit het sociale boekennetwerk LibraryThing.

Interessant omwille van de open architectuur
LibraryCloud is opgezet als LAMP stack.  De gegevens zijn Linked Open Data compliant en er is een API.  De documentatie voor gebruik maakt de openheid compleet.

Interessant omwille van het vrij gebruik met respect voor privacy
LibraryCloud heeft de policy om data alleen te accepteren als die zonder licentie publiek bruikbaar zijn. Data met user-ID’s worden niet aanvaard uit respect voor de privacy. Aan bibliotheken die uitleengegevens doorsturen wordt gevraagd om de leners-ID’s en -namen te verwijderen. Het tijdstip van uitlening, en andere kenmerken die nuttig zijn voor het herkennen van patronen, zijn wel onderdeel van de dataset.

Interessant omwille van het vervolg
Veel data in de bibliotheeksector zitten -soms zelfs voor eigen gebruik- opgesloten in systemen die onderhouden worden door softwareleveranciers die hun eigen tempo, voorwaarden en ideeën als norm voor vooruitgang hanteren. Als data los van een systeem open beschikbaar gesteld worden kan iedereen mee de innovatie mee bepalen. Een blik van buitenaf kan verrassende inzichten en ideeën opleveren. Meer nog, het verrijken van geïsoleerde data met andere datasets kan nieuwe informatie en inzichten opleveren.

Open data voorzien, is geen innovatie op zich maar een voorwaarde tot innovatie. De gevolgen van LibraryCloud zijn daarom misschien wel het meest interessante deel van het verhaal.
En, er zijn al enkele toepassingen en experimenten met de LibraryCloud data.  Meer daarover in deze post!

Datasalon 7

Het moet begin 2009 geweest zijn tijdens een middagpauze in Het Salon -een lunchlocatie in de schaduw van de Boekentoren- toen Saskia, Patrick, Eva en ikzelf brainstormden over een uitbreiding van onze korte lunch- naar lange avondgesprekken.  We wilden ook meer mensen betrekken bij ons gespreksonderwerp: data.  De plek moest ergens in de buurt van bier zijn. De naam was gezien onze middagpauze-locatie snel beslist.

Twee jaar later, vrijdagavond 25 november ging de 7de editie van het Datasalon door in een achterzaaltje van de Vooruit in Gent. Het was een boeiende lange avond met 10 mensen die over hun eigen data-dingen vertelden.  Het Datasalon gaat in hoofdzaak over data in de bibliotheek- en informatiesector, maar deze keer ging het ook over tuinen, treinen en tanken.

Maarten Cammaert, 1 van de 3 ontwikkelaars van mijntuin.org nodigde ons uit om te experimenteren met de mijntuin-API en zo de user generated data te hergebruiken in andere omgevingen.

Pieter Colpaert, de man achter de iRail vzw, ook bekend als meneer open data, heeft met Miel Vander Sande een ideale werkpartner gevonden om open data te combineren met de technologie van het semantische web. Ze werken samen met anderen aan The Datatank. Te kort samengevat is dat een aggregatie- en publicatieplatform voor open datasets.  Op 5 december wordt versie 1 van de DataTank publiek gemaakt.

De verhalen uit de biblioteek- en informatiesector gingen over nanopublicaties, unicode, experimenten bij BAM met het Google Data Protocol, midoffice-modellen in informatiebeherende instellingen en een het verband tussen semantiek en een 3D versie van de boekentoren.

Heb je ook een idee of verhaal over data? Volg dan de aankondiging van een nieuwe datum voor het Datasalon op twitter of via deze wiki.

Of, heb je een oplossing voor deze Unicode probleemsteling neem dan zo snel mogelijk contact op met Patrick. Hij zal je eeuwig en nog langer dankbaar zijn.