Ero sivun ”Työkaluja” versioiden välillä

wikitammesta
(OpenRefinen käyttäesimerkki)
p (→‎OpenRefine: Ohjelinkkejä)
 
(4 välissä olevaa versiota samalta käyttäjältä ei näytetä)
Rivi 1: Rivi 1:
 
[[Category:Esite]]
 
[[Category:Esite]]
  
Tälle sivulle on tarkoitus panna tietoa ja linkkejä Isotammen suosittelemista erillisistä työkaluista, kuten Gramps-lisäosista tai selainlaajennuksista.  
+
Tälle sivulle on tietoa ja linkkejä Isotammesta ja suosittelluista erillisistä työkaluista, kuten Gramps-lisäosista tai selainlaajennuksista.  
 
 
 
 
 
== Isotammi-palvelu ==
 
== Isotammi-palvelu ==
  
Rivi 13: Rivi 11:
 
* [[Suomikanta ja sen hyödyntäminen|Mikä on Isotammi-järjestelmä]]?
 
* [[Suomikanta ja sen hyödyntäminen|Mikä on Isotammi-järjestelmä]]?
 
* [[Sukutietojen_vakiointi_Gedcom-ohjelmilla|Sukutietojen vakiointi Gedcom-ohjelmillamme]]
 
* [[Sukutietojen_vakiointi_Gedcom-ohjelmilla|Sukutietojen vakiointi Gedcom-ohjelmillamme]]
 
 
 
== Gramps-lisäosat ==
 
== Gramps-lisäosat ==
  
Rivi 23: Rivi 19:
 
Ei vielä tarjolla
 
Ei vielä tarjolla
  
=== OpenRefine ===
+
== OpenRefine ==
 
OpenRefine (OR) on laskentalomake-tyyppinen ohjelma, jolla muokataan "sekavia" aineistoja csv-muotoon, ladattavaksi Grampsiin.  OR:n juuret ovat Googlen projektissa, joka irrotettiin myöhemmin vapaan lähdekoodin projektiksi. OR on ladattavissa [https://openrefine.org/ täältä].
 
OpenRefine (OR) on laskentalomake-tyyppinen ohjelma, jolla muokataan "sekavia" aineistoja csv-muotoon, ladattavaksi Grampsiin.  OR:n juuret ovat Googlen projektissa, joka irrotettiin myöhemmin vapaan lähdekoodin projektiksi. OR on ladattavissa [https://openrefine.org/ täältä].
  
OR:llä on tuotu Grampsiin henkilöitä ja paikkoja. Seuraavassa esimerkissä kuvataan, kuin Hiskipalvelussa löytyvistä Pappisluetteloista muokataan Grampsiin ladattavat pappishenkilöt. Esimerkkinä Ahlaisten seurakunnan [http://hiski.genealogia.fi/seurakunnat/srk?CMD=PRIESTS&ID=1&TYPE=HTML&LANG=FI luettelo], josta pyritään muokkaamaan csv-tiedosto, jolla tuodaan Grampsiin [https://gramps-project.org/wiki/index.php/Fi:Gramps_5.1_Wiki-k%C3%A4ytt%C3%B6ohje_-_CSV_vienti_ja_tuonti#Henkil.C3.B6t henkilöitä ammattitietoineen]. Ohje ei ole mitenkään tyhjentävä, mutta kuvannee OR:n käyttötapaa ja eräitä vinkkejä siihen.
+
OR:n [https://docs.openrefine.org/ virallinen käyttöopas] (engl.)
 +
 
 +
[http://miriamposner.com/classes/dh201w21/tutorials-guides/data-cleaning-and-manipulation/getting-started-with-openrefine/?utm_source=sendinblue&utm_campaign=OpenRefine_February_21_Newsletter&utm_medium=email Lyhyt opas] (engl.)
 +
 
 +
OR:llä on tuotu Grampsiin henkilöitä ja paikkoja. Seuraavassa esimerkissä kuvataan, kuin Hiskipalvelussa löytyvistä Pappisluetteloista muokataan Grampsiin ladattavat pappishenkilöt. Esimerkkinä Ahlaisten seurakunnan [http://hiski.genealogia.fi/seurakunnat/srk?CMD=PRIESTS&ID=1&TYPE=HTML&LANG=FI luettelo], josta pyritään muokkaamaan csv-tiedosto, jolla tuodaan Grampsiin [https://gramps-project.org/wiki/index.php/Fi:Gramps_5.1_Wiki-k%C3%A4ytt%C3%B6ohje_-_CSV_vienti_ja_tuonti#Henkil.C3.B6t henkilöitä ammattitietoineen]. ''Ohje ei ole mitenkään tyhjentävä'', mutta kuvannee OR:n käyttötapaa ja antaa eräitä vinkkejä siihen.
  
 
'''Esimerkissä käsitellään kerralla kaksi seurakuntaa!´'''
 
'''Esimerkissä käsitellään kerralla kaksi seurakuntaa!´'''
Rivi 40: Rivi 40:
 
Monista sitten sarake A kolme kertaa "Edit column > Add column based on this column".
 
Monista sitten sarake A kolme kertaa "Edit column > Add column based on this column".
  
Laita "tähti" niihin riveihin, joissa on teksti "pappisluettelo" . Löydät nämä rivit syöttämällä tekstin Sarake A:n "Text filter" ehdoksi. Periaatteessa voit laittaa riveihin tähden manuaalisesti, mutta jos rivejä olisi enemmän, tee se valinnalla All>Edit rows>Star rows.
+
Laita "tähti" niihin riveihin, joissa on teksti "pappisluettelo" . Löydät nämä rivit syöttämällä tekstin Sarake A:n "'''Text filter'''" ehdoksi. Periaatteessa voit laittaa riveihin tähden manuaalisesti, mutta jos rivejä olisi enemmän, tee se valinnalla '''All>Edit rows>Star rows'''.
  
Laita vastaavasti "flag" niihin riveihin, joissa on teksti "Kirkkoherrat". Toista flagin asetus teksteillä ", "Kappalaiset" ja "papit".
+
Laita vastaavasti "'''Flag'''" niihin riveihin, joissa on teksti "Kirkkoherrat". Toista flagin asetus teksteillä ", "Kappalaiset" ja "papit".
  
Ota käsittelyyn 2. sarake, koska siihen halutaan jäljelle vain seurakunnan osoittava tieto (esim. Pappisluettelo - Ahlainen). Valitse All>Facet>Facet by star>False. Nyt näkyvät ne rivit, jotka eivät osoita seurakuntaa. Poista niistä riveistä tiedot 2. sarakkeen otsikosta '''Edit cells>Transform>Expression''' kaksi peräkkäistä lainausmerkkiä (""). OK tyhjentää sarakkeen. Poista vasemmasta reunasta "Starred rows" laatikko, jolloin näkyviin tulevat kaikki rivit.
+
Ota käsittelyyn 2. sarake, koska siihen halutaan jäljelle vain seurakunnan osoittava tieto (esim. Pappisluettelo - Ahlainen). Valitse '''All>Facet>Facet by star>False'''. Nyt näkyvät ne rivit, jotka eivät osoita seurakuntaa. Poista niistä riveistä tiedot 2. sarakkeen otsikosta '''Edit cells>Transform>Expression''' kaksi peräkkäistä lainausmerkkiä (""). OK tyhjentää sarakkeen. Poista vasemmasta reunasta "Starred rows" laatikko, jolloin näkyviin tulevat kaikki rivit.
  
 
Valitse sitten sarakeotsikosta '''Edit cells > Fill down''' . Tällöin kaikki solut populoidaan seurakuntaansa osoittavalla tekstillä. Anna sarakkeelle nimi "Seurakunta" (csv-occupationsource tieto)
 
Valitse sitten sarakeotsikosta '''Edit cells > Fill down''' . Tällöin kaikki solut populoidaan seurakuntaansa osoittavalla tekstillä. Anna sarakkeelle nimi "Seurakunta" (csv-occupationsource tieto)
Rivi 58: Rivi 58:
 
Kokeile sarakkeeseen, jossa on alkurajavuosi (4 merkkiä) Facet>'''Numeric facet'''. Avautuu vasempaan reunaan pieni ikkuna, jossa voi rastittamalla poistaa näkyvistä Non-numeric ja blank rivit. Valitse sitten liukukytkimillä 1500-1600 rajavuosien rivit. Jää esim. 7 riviä.  Tee loppurajavuosi-sarakkeelle rajaus 0-100 (eli 2 numeron kentät). Tee loppurajavuosi-sarakkeeseen Edit cells>Transform , jossa expression on 1500+value. Toista edellä oleva rajavuosilla 1600-1700, 1700-1800, 1800-1900. 1900-2000.
 
Kokeile sarakkeeseen, jossa on alkurajavuosi (4 merkkiä) Facet>'''Numeric facet'''. Avautuu vasempaan reunaan pieni ikkuna, jossa voi rastittamalla poistaa näkyvistä Non-numeric ja blank rivit. Valitse sitten liukukytkimillä 1500-1600 rajavuosien rivit. Jää esim. 7 riviä.  Tee loppurajavuosi-sarakkeelle rajaus 0-100 (eli 2 numeron kentät). Tee loppurajavuosi-sarakkeeseen Edit cells>Transform , jossa expression on 1500+value. Toista edellä oleva rajavuosilla 1600-1700, 1700-1800, 1800-1900. 1900-2000.
  
Lopuksi kootaan alku- ja loppurajavuodet yhdeksi kentäksi alkurajavuosi-sarakkeessa Edit cells>Transform>Expressionilla '''value+" - "+cells["Column 1"].value''', jossa Column 1 on loppurajavuoden sarake.
+
Lopuksi kootaan alku- ja loppurajavuodet yhdeksi kentäksi alkurajavuosi-sarakkeessa Edit cells>Transform>Expressionilla '''value+" - "+cells["Column 1"].value''', jossa Column 1 on loppurajavuoden sarakenimi.
  
 
OR:n oikeassa ylänurkassa on Help, josta löytyy paljon lisäohjeita.
 
OR:n oikeassa ylänurkassa on Help, josta löytyy paljon lisäohjeita.

Nykyinen versio 5. helmikuuta 2021 kello 09.04


Tälle sivulle on tietoa ja linkkejä Isotammesta ja suosittelluista erillisistä työkaluista, kuten Gramps-lisäosista tai selainlaajennuksista.

Isotammi-palvelu

Isotammi-järjestelmä rakennetaan, jotta voimme yhteistyössä koota suuren luotettavasti tarkastettujen sukutietojen kokoelman.

Lisätietoja kuvauksissa –

Gramps-lisäosat

Tarkempia tietoja täällä: Gramps-laajennukset

Selainlaajennukset

Ei vielä tarjolla

OpenRefine

OpenRefine (OR) on laskentalomake-tyyppinen ohjelma, jolla muokataan "sekavia" aineistoja csv-muotoon, ladattavaksi Grampsiin. OR:n juuret ovat Googlen projektissa, joka irrotettiin myöhemmin vapaan lähdekoodin projektiksi. OR on ladattavissa täältä.

OR:n virallinen käyttöopas (engl.)

Lyhyt opas (engl.)

OR:llä on tuotu Grampsiin henkilöitä ja paikkoja. Seuraavassa esimerkissä kuvataan, kuin Hiskipalvelussa löytyvistä Pappisluetteloista muokataan Grampsiin ladattavat pappishenkilöt. Esimerkkinä Ahlaisten seurakunnan luettelo, josta pyritään muokkaamaan csv-tiedosto, jolla tuodaan Grampsiin henkilöitä ammattitietoineen. Ohje ei ole mitenkään tyhjentävä, mutta kuvannee OR:n käyttötapaa ja antaa eräitä vinkkejä siihen.

Esimerkissä käsitellään kerralla kaksi seurakuntaa!´

Käynnistä OpenRefine (OR) > Create project > Clipboard

Kopioi Hiskistä ensin yhden seurakunnan pappisluettelo. Liitä se OR:n clipboardille. Varmista, että kursori siirtyy uuden rivin alkuun. Kopioi Hiskistä  toisen seurakunnan pappisluettelo. Liitä se OR:n clipboardille aikaisemman datan perään. Siirry Nextillä eteenpäin, anna projektille sopiva nimi ja muodosta OR:n projekti.

Projektissa on nyt yksi sarake (sarake A)

Poista aluksi etuvälilyönnit Edit cells>Common Transforms>Trim leading ..".

Monista sitten sarake A kolme kertaa "Edit column > Add column based on this column".

Laita "tähti" niihin riveihin, joissa on teksti "pappisluettelo" . Löydät nämä rivit syöttämällä tekstin Sarake A:n "Text filter" ehdoksi. Periaatteessa voit laittaa riveihin tähden manuaalisesti, mutta jos rivejä olisi enemmän, tee se valinnalla All>Edit rows>Star rows.

Laita vastaavasti "Flag" niihin riveihin, joissa on teksti "Kirkkoherrat". Toista flagin asetus teksteillä ", "Kappalaiset" ja "papit".

Ota käsittelyyn 2. sarake, koska siihen halutaan jäljelle vain seurakunnan osoittava tieto (esim. Pappisluettelo - Ahlainen). Valitse All>Facet>Facet by star>False. Nyt näkyvät ne rivit, jotka eivät osoita seurakuntaa. Poista niistä riveistä tiedot 2. sarakkeen otsikosta Edit cells>Transform>Expression kaksi peräkkäistä lainausmerkkiä (""). OK tyhjentää sarakkeen. Poista vasemmasta reunasta "Starred rows" laatikko, jolloin näkyviin tulevat kaikki rivit.

Valitse sitten sarakeotsikosta Edit cells > Fill down . Tällöin kaikki solut populoidaan seurakuntaansa osoittavalla tekstillä. Anna sarakkeelle nimi "Seurakunta" (csv-occupationsource tieto)

Ota käsittelyyn 3. sarake. Valitse All>Facet>Facet by Flag>False.  Tyhjennä rivit kuten edellä ja täytä ne kuten edellä. Tuloksena rivin soluissa on nyt "Ammatti" (csv-occupation-descr tieto)

2. ja 3. sarakkeiden tietoja voi muokkailla (lyhentää) ottamalla yhden solun Edit-tilaan, muuttamalla solun sisältöä ja valitsemalla "Apply to all identical cells". Huomaathan, että Edit cells>Replace on myös kätevä tehdä tekstimuutoksia.

Tämän jälkeen voi deletoida rivit, joissa on tähti tai flagi. Niitä ei enää tarvita. All>Facet> Facet by Star tai Facet by Flag ja sitten All>Edit Rows>Remove matching rows. Huomaathan, että jos tuli poistettua väärät rivit tai tehtyä muuten jotain tyhjää, vasemmassa reunassa on Undo/redo.

Siirrytään sitten 4. sarakkeeseen, jossa on lähinnä nimi, pilkku, ammatti ja suluissa rajavuodet. Pilkotaan sarake ensin kahtia "(" erottimella Edit column>Split.. Deletoidaan sitten rajavuosi-sarakkeesta ")" valitsemalla Edit cells>Replace. Jaetaan sitten tämä sarake kahtia "-"erottimella. Jälkimmäisessä sarakkeessa on sitten päättyvä rajavuosi enimmäkseen kahdella numerolla (esim. 33). Niihin pitää saada vuosisata (siis esim. 1733).

Kokeile sarakkeeseen, jossa on alkurajavuosi (4 merkkiä) Facet>Numeric facet. Avautuu vasempaan reunaan pieni ikkuna, jossa voi rastittamalla poistaa näkyvistä Non-numeric ja blank rivit. Valitse sitten liukukytkimillä 1500-1600 rajavuosien rivit. Jää esim. 7 riviä.  Tee loppurajavuosi-sarakkeelle rajaus 0-100 (eli 2 numeron kentät). Tee loppurajavuosi-sarakkeeseen Edit cells>Transform , jossa expression on 1500+value. Toista edellä oleva rajavuosilla 1600-1700, 1700-1800, 1800-1900. 1900-2000.

Lopuksi kootaan alku- ja loppurajavuodet yhdeksi kentäksi alkurajavuosi-sarakkeessa Edit cells>Transform>Expressionilla value+" - "+cells["Column 1"].value, jossa Column 1 on loppurajavuoden sarakenimi.

OR:n oikeassa ylänurkassa on Help, josta löytyy paljon lisäohjeita.