Diplomatarium Fennicum


Tietoa hankkeesta


Hanke
Historia
Tavoitteet

Hanke

Diplomatarium Fennicum on vuonna 2015 käynnistynyt Kansallisarkiston hanke, jonka tavoitteena on nykyaikaisen tutkimusinfrastruktuurin luominen Suomen keskiajan asiakirjalähteiden tutkimukselle. Hankkeen tuloksena syntyvä Diplomatarium Fennicum -verkkopalvelu korvaa aiemman samannimisen tietokannan ja tarjoaa keskiajan tutkimukselle laajan tietovarannon sekä tutkimusalustan. Hanke on saanut alkunsa Kansallisarkiston ja tutkijayhteisön tiiviistä yhteistyöstä, ja palvelua kehitetään tutkijoiden toiveet huomioiden.

Hankkeen työn tuloksena uudesta palvelusta julkaistaan betaversio 1.10.2016 Turun kirjamessuilla, minkä jälkeen palvelu on tutkijoiden ja suuren yleisön testikäytössä. Jatkossa hanke keskittyy betaversion kehittämiseen valmiiksi tietokannaksi ja painottaa myös entistä enemmän uuden sisällön tuottamista.

Hankkeesta vastaa Kansallisarkiston tutkimusjohtaja Päivi Happonen. Hankkeen ohjausryhmään kuuluu Kansallisarkiston virkamiehiä sekä historiantutkijoita ja kielitieteilijöitä useista eri yliopistoista. Ryhmän kokoonpano on seuraava:

Tutkimusjohtaja Päivi Happonen (Kansallisarkisto), Dos. Tuomas Heikkilä (Helsingin yliopisto), Dos. Anu Lahtinen (Turun yliopisto, Helsingin yliopisto), Prof. Marko Lamberg (Tukholman yliopisto), Apul. prof. Kirsi Salonen (Turun yliopisto), Lehtori Minna Sandelin (Turun yliopisto), Lehtori Seija Tiisala (Helsingin yliopisto), Kehittämispäällikkö Vili Haukkovaara (Kansallisarkisto), Kehittämispäällikkö Anne Wilenius (Kansallisarkisto), Ylitarkastaja Yrjö Kotivuori (Kansallisarkisto).

Hankkeen käytännön toteutuksesta vastaa kolmihenkinen projektiryhmä: Projektipäällikkö FM Seppo Eskola, tutkija FM Lauri Leinonen sekä ICT-suunnittelija MSc Denis Mandrov (sähköpostit muotoa etu.sukunimi@arkisto.fi).


Historia

Diplomatarium Fennicumin tieteellisen sisällön pohjan muodostaa valtionarkistonhoitaja Reinhold Hausenin toimittama kahdeksanosainen editiosarja Finlands medeltidsurkunder (FMU 1910–1935) sekä samoin Hausenin editoima Turun tuomiokirkon musta kirja (REA, Registrum Ecclesiae Aboensis eller Åbo Domkyrkas Svartbok 1890). Yhteensä teokset sisältävät yli 6700 tekstin editiot. Hausen otti mukaan julkaisuunsa kaikki löytämänsä Suomen keskiaikaan liittyvät asiakirjat, ja ne muodostavat yhä Diplomatarium Fennicumin tekstikorpuksen rungon.

Kansallisarkistossa luotiin jo 1990-luvulla ensimmäinen versio Diplomatarium Fennicumista. Tuolloin tavoite oli saattaa FMU:n ja REA:n sisältämät tekstit sähköiseen muotoon ja asettaa ne verkkotietokantana tutkijoiden ja suuren yleisön käyttöön. Hanke julkaisikin parannellun version FMU:sta sekä osan REA:a (ensimmäiset 150 asiakirjaa) ja saavutti näin pääosin tärkeimmän tavoitteensa. Ensimmäinen DF-tietokanta onkin ollut kohta kaksikymmentä vuotta tutkijoiden ahkerassa käytössä. Samalla teknologian nopea kehitys on jättänyt 90-luvun tietokannan jälkeensä, ja tutkijat ovat jo pitkään toivoneet tietokannan teknisten ominaisuuksien uudistamista ja sen sisällön laajentamista. Vuonna 2015 alkanut uusi DF-hanke pyrkii vastaamaan näihin toiveisiin.

Tarkemmin Diplomatarium Fennicumin ja Suomen keskiaikaisten asiakirjojen editointihistoriaa sekä aiheeseen liittyvää problematiikkaa eritellään ensimmäisen DF-hankkeen laatimassa artikkelissa.


Tavoitteet

Diplomatarium Fennicum -hankkeen tavoitteena on uudistaa pysyvästi suomen keskiajan tutkimuksen keskeinen infrastruktuuri. Tietokanta on yhtäältä tietovaranto, jonne voidaan tallentaa laajasti tietoa Suomen keskiaikaa koskevista asiakirjalähteistä, ja toisaalta väline, jolla tätä tietoa voidaan tutkia. Valmiina se tulee sisältämään Suomen keskiajan asiakirjakorpukseen kuuluvien tekstien tieteelliset editiot, korkealaatuiset digitaaliset kuvat alkuperäislähteistä, kattavat metatiedot asiakirjoista sekä monipuoliset työkalut tietojen hyödyntämiseen. Palvelun kehittämisessä huomioidaan eri tieteenalojen tarpeet historiantutkimuksesta kielitieteeseen, ja luodaan edellytykset kokonaisuuden ylläpitämiselle ja kehittämiselle pitkälle tulevaisuuteen.

Diplomatarium Fennicumin ydin on sen tieteellinen aineisto. Keskeisenä uudistuksena tietokannan perustaa laajennetaan liittämällä mukaan FMU:ta täydentäviä julkaisusarjoja. Näin asiakirjojen pitkä tutkimushistoria tehdään näkyväksi. Merkittävä aukko aineistossa on paikattu digitoimalla ja oikolukemalla Turun tuomiokirkon Musta kirjan editio ensi kertaa kokonaisuudessaan. Editiosarjojen rinnalla digitoidaan myös muuta tutkimusta tukevaa kirjallisuutta. Tärkeimmät ulkomaiset tietokannat on huomioitu, ja kukin asiakirja linkitetään esimerkiksi Svenskt Diplomatariums huvudkartotek (SDHK) tietokantaan Ruotsin Valtionarkiston sivuille.

Korkealaatuiset digitaaliset kuvat ovat editioiden ohella nykyaikaisen asiakirjatutkimuksen perusedellytys, ja hanke pyrkii digitaalisten kuvien saattamiseen tutkijoiden käyttöön mahdollisimman kattavasti. Suurin osa suomalaisissa instituutioissa säilytettävistä keskiaikaisista asiakirjoista toimitetaan saataville digitaalisessa muodossa, ja kuvat tarjotaan joko suoraan tietokannassa tai linkin kautta. Ulkomaisten instituutioiden asiakirjoista hankitaan kuvia hankkeen puitteissa kokonaisuuksittain, yhteistyössä niitä säilyttävien instituutioiden kanssa. Aikaa myöten Diplomatarium Fennicumiin on tarkoitus sisällyttää kuvat kaikista aineistoon sisältyvistä alkuperäisasiakirjoista.

Sisällöntuotannossa keskeisimmät osa-alueet ovat Diplomatarium Fennicumin tekstikorpuksen laajentaminen tuottamalla uusia editioita sekä tietokannan metatietojen parantaminen. Diplomatarium Fennicumin kaltaisen relaatiotietokannan toiminta perustuu riittäviin metatietoihin, ja niitä rikastetaan hankkeessa jatkuvasti. Tärkeimpiin metatietoihin luetaan asiakirjojen sisältämät paikka- ja henkilötiedot, lähteiden arkistosijainnit, ajoitukset sekä tietosisällön mukaiset kategorisoinnit. Urakka metatietojen työstämisessä on valtava, ja betaversiota varten keskitytään olemassa olevien metatietojen yhdenmukaistamiseen ja erityisesti arkistolähteiden paikantamiseen, mikä on edellytys digitoinnille ja digitaalisten kuvien tilaamiselle. Betaversion jälkeen rikastaminen etenee asiakirjojen, henkilöiden ja paikkojen kategorisointiin ja lokalisointiin, mikä mahdollistaa tietokannan toimintojen jatkokehittämisen. Metadataa kerrytetään sekä hankkeen sisäisesti että joukkoistamalla yhteistyössä tutkijoiden ja tutkimushankkeiden kanssa. Myös koneellisia tekstinlouhintakeinoja pyritään hyödyntämään.

Tekstikorpuksen laajentaminen tapahtuu julkaisemalla editioita aiemmin julkaisemattomista asiakirjoista, FMU:n painamisen jälkeen julkaistuista asiakirjoista, sekä uusia editioita jo FMU:ssa tai REA:ssa julkaistuista asiakirjoista. Uusia, vielä julkaisemattomia asiakirjoja on tunnistettu mm. Tallinnan ja Vatikaanin arkistoista, ja lisäksi hanke on tunnistanut Ruotsin SDHK-tietokannan avulla satoja asiakirjoja, jotka voivat kuulua myös Diplomatarium Fennicumin piiriin. Uusien asiakirjaeditioiden julkaisemiseksi hanke tuottaa kansalliset diplomataariset editioperiaatteet keskiaikaisten asiakirjojen julkaisemiselle. Uudet asiakirjat tuotetaan tietokantaan keskitetysti sekä hankkeen palkkaamalla tutkijatyövoimalla, että yhteistyössä DF:ään sisältyviä aineistoja käyttävien tutkimushankkeiden kanssa. FMU:n jälkeen julkaistujen asiakirjaeditioiden tietoja hanke kerää keskitetysti. Näiden osalta hanke sopii editioiden julkaisuoikeuksista ja saattaa editiot tietokoneluettavaan muotoon. Näiden työvaiheiden myötä Suomen keskiaikaisten asiakirjojen korpus kasvaa ensimmäistä kertaa sataan vuoteen, ja samalla Diplomatarium Fennicum kehittyy julkaisualustaksi uudelle tieteelliselle tutkimukselle.

Palvelun kolmen perusosan – verkkopalvelun, tietokannan ja logiikkakerroksen – ohjelmointia ja kehitystä suoritetaan moduuli kerrallaan, priorisoiden tietokannan käyttäjien tarpeet. Sovellusten kehittämisessä huomioidaan erityisesti tutkijakäyttäjien palaute, mutta lähtökohtaisesti toteutetaan tilastointiin, karttoihin ja tekstien annotointiin pohjautuvat sovellukset. Tarkoituksena on helpottaa tiedon löytymistä ja tarjota monipuoliset tilastolliset työkalut aineistokokonaisuuksien analysointiin tietokannan sisällä. Metatietoja hyödyntävien sovellusten tuomat mahdollisuudet tietokannan aineiston suodattamisessa ja jalostamisessa ovat huomattavat. Hankkeen keräämää metatietoa yhdistelemällä on mahdollista toteuttaa täsmällisiä analyysejä lähteistä suoraan tietokannan käyttöliittymän kautta, ilman tarvetta koko tietokannan datan lataamiselle ja erillisten tilastointiohjelmien käytölle. Sovelluksilla mahdollistetaan aineiston haku, ryhmittely ja tilastointi valittujen kriteerien mukaisesti, esimerkiksi asiakirjan tyypin, päiväyspaikan, antajan, kielen tai kodikologisten piirteiden mukaan. Tietokanta hyödyntää digitaalisen humanismin kehittämiä tekstimassan louhinta- ja käsittelytyökaluja ja tarjoaa tulokset suurelle yleisölle käyttöön. Jo betaversiossa on mukana varhaisia prototyyppejä sovelluksista ja hakuominaisuuksista, joilla tietoa voi yhdistellä ja visualisoida eri tavoin.

Tiedon avoimuus on julkishallinnon tutkimushankkeissa keskeinen arvo, ja hankkeen kaikessa toiminnassa huomioidaan se, että tietokannan tiedot ovat vapaasti käytettävissä. Diplomatarium Fennicum on suunniteltu mahdollisuuksien mukaan yhteensopivaksi muiden tietokantojen ja järjestelmien kanssa, ja sen koko sisältö pyritään julkaisemaan vuonna 2017 avoimena datana niin, että kaiken aineiston voi ladata omalle koneelleen. Eri palvelujen välisen tiedonjaon mahdollistavia rajapintoja ohjelmoidaan kansalliset ja kansainväliset liittymät huomioiden. Myös tiedot rajapinnoista, tietokannan relaatioista ja sovellusten rakenteesta dokumentoidaan ja avataan käyttäjille.

Betaversion julkaiseminen mahdollistaa laajan käyttäjäpalautteen keräämisen, ja verkkopalvelun toimintoja ja käytettävyyttä hiotaan tältä pohjalta. Lisäksi käyttäjätestejä toteutetaan alan tutkijoiden kanssa sekä ”sokkotestauksena” tietokantaa aiemmin käyttämättömien kanssa. Metatietojen ja tietokannan teknisten ominaisuuksien parantamiseksi järjestetään alan asiantuntijoille tutkijatapaamisia sekä hackathon-tilaisuuksia. Yhteistyötä tehdään myös muiden kansallisten keskiaikahankkeiden sekä kansainvälisten toimijoiden kanssa. Hankkeen pyrkimyksenä on sitouttaa tutkijayhteisö tietokannan pysyvään sisällölliseen kehittämiseen ja ylläpitoon.