Dashboard
Open source tools
Het Dashboard is ontworpen en ontwikkeld met open source software libraries, frameworks en applicaties. Deze tool maakt onderdeel uit van het Arthub Flanders platform, ontwikkeld door de Vlaamse Kunstcollectie, in nauwe samenwerking met PACKED vzw. Het Arthub Flanders platform bestaat uit een reeks op maat gemaakte tools met als primaire doelstelling het aanleveren van de collectiemetadata in een optimaal herbruikbare digitale vorm. De volledige toolset wordt ter beschikking gesteld van de GLAM-gemeenschap onder een open source licentie. Culturele organisaties die hun collecties digitaal willen openstellen, zijn uitgenodigd om deze tools op te nemen in en aan te passen aan hun eigen digitale projecten.
Pagina-inhoud
Technologie
Het Dashboard is een applicatie die de collectiemetadata uit het platform analyseert op basis van een ontwikkelde meetmethodologie en de resultaten hieruit op een gebruiksvriendelijke wijze digitaal visualiseert. Het platform is opgebouwd als een architectuur van 'loosely coupled' componenten die automatisch collectiematadata uitwisselen, transformeren en beschikbaar stellen via interfaces voor mensen of machines (API's).
Het Dashboard
Het Dashboard analyseert de geaggregeerde collectiemetadata uit de Datahub en levert per data provider of bron een rapportering over de staat van de opgeladen gegevens in functie van digitale bruikbaarheid.
De basis voor de toepassing is het op PHP gebaseerde Symfony Framework. Dagelijks haalt het Dashboard automatisch de collectiemetadata uit de Datahub op via de OAI-PMH API en slaat de relevante gegevens op in een onderliggende MongoDB-database.
https://github.com/thedatahub/datahub
De Datahub
De Datahub is een webgebaseerde metadata-aggregator. Deze applicatie verzamelt en bewaart collectiemetadata van een of meerdere providers of bronnen, en publiceert de verzamelde metadata via webgebaseerde API's.
De Datahub implementeert twee soorten API's. De applicatie voorziet een REST API dat metadata aanbiedt in JSON-format. Metadata wordt ook beschikbaar gesteld via een OAI-PMH API.
De Datahub front-end werd, net zoals bij het Dashboard, gemaakt met behulp van het Symfony Framework. Verzamelde metadata wordt ook hier bewaard in een MongoDB-database.
https://github.com/thedatahub/Datahub-Dashboard
Arthub Flanders
Arthub Flanders is een publieke discovery interface. Het is het zichtbare gedeelte van het platform en voorziet rechtstreekse, gebruiksvriendelijke toegang tot de collectiemetadata.
Arthub Flanders is een op maat gemaakte instantie van Project Blacklight om te zoeken en browsen doorheen culturele erfgoedobjecten. Blacklight is een open source Solr user interface discovery platform. Blacklight gebruikt de Apache Solr search engine om full text en/of metadata te doorzoeken en heeft een sterk configureerbare Ruby on Rails front-end. Blacklight werd gepubliceerd onder een Apache 2.0 licentie.
https://github.com/VlaamseKunstcollectie/Arthub-Frontend
Catmandu
Catmandu is een data processing toolkit dat toegang en conversie toelaat van datasets van het ene format of datamodel naar een ander.
Het Catmandu framework is gebaseerd op Perl en voorziet een ecosysteem van pluggable modules die tegemoet komen aan een brede waaier van formats en use cases.
De Datahub Factory
De Datahub Factory is een op maat gemaakte command line tool die het makkelijker maakt om complexe ETL (Extract Transform Load) pipelines te configureren en monitoren. Deze toolkit is gebaseerd op Perl en maakt achter de schermen gebruik van Catmandu modules.
Deze command line tool wordt gebruikt om ETL pipelines te creëren tussen collectieregistratiesystemen, de Datahub en Arthub Flanders. De Datahub Factory wordt gebruikt om automatisch collectiemetadata over te brengen en te transformeren tussen deze systemen.
https://github.com/thedatahub/Datahub-Factory
https://github.com/thedatahub/Datahub-Factory-Pipelines
https://github.com/thedatahub/Datahub-Factory-Arthub
Open formats
Collectiemetadata wordt automatisch uitgewisseld tussen de diverse systemen die in het platform werkzaam zijn. Vooraleer collectiemetadata wordt uitgewisseld, wordt deze omgezet naar één geïntegreerd format: LIDO XML
LIDO is een XML harvesting schema. Het schema levert metadata op die gebruikt kan worden in diverse online diensten, gaande van een online collectie-database van een organisatie tot portalen van geaggregeerde bronnen, alsook het weergeven, delen en verbinden van data op het web.
De Datahub Factory zet metadata, opgehaald uit een collectieregistratiesysteem, om in LIDO XML. Vervolgens verzamelt de Datahub deze omgezette metadata. Records worden omgezet via scripts geschreven in Catmandu's Fix programeertaal.
Per instelling werd een transformatiescript geschreven. Elk script definieert een mapping tussen recordvelden aangeboden door het collectieregistratiesysteem en de velden van het LIDO-datamodel. De scripts bevatten ook logica die bepaalt wanneer waarden moeten overgenomen worden in het LIDO-record.
De scripts die gebruikt worden door het Arthub Flanders platform zijn gepubliceerd op Github.
https://github.com/VlaamseKunstcollectie/Datahub-Fixes
Gemeenschap van ontwikkelaars
Alle componenten zijn gepubliceerd op Github, een populair platform om software te delen en eraan samen te werken. We nodigen andere ontwikkelaars uit om bij te dragen aan de componenten. Er zijn verschillende manieren om bij te dragen.
- Bug reports, suggesties, vragen en feedback kunnen doorgegeven worden per component als afzonderlijke issues. Deze issues kunnen doorgegeven worden aan de Github project issue tracker geassocieerd met het relevante component.
- Contributors zijn vrij om de componenten te forken, veranderingen te maken zoals bugs fixen en nieuwe features toe te voegen, en deze veranderingen terug aan de projecten aan te leveren als Github pull requests.
Om bij te dragen aan de projecten, is het nodig om een account te registreren op Github.
Licensing
Tenzij anders aangegeven door de oorspronkelijke auteurs, is alle software beschikbaar gesteld als vrije software; je kan het herverdelen en/of aanpassen onder de voorwaarden van de GNU General Public License (GPL) v3 licentie.
