complete example

[bjuergens]

tutorial/example erstellen:

1. lade datensatz aus internet (z.b. mcloud, iris) z.b. iris
2. clone template project (todo: condor-zeug in unterproject auslagern)
3. dirhash
4. link daten in template project
5. lade zufallszahlen als txtfile herunter (speicher im project neben notebook)
6. commit
7. schreib kleine analyse in jupyter
8. configure, sodass es auf 1 knoten läuft + email-adresse
9. schedule batch
10. sleep
11. pull results

Ziel: Zeigt wir man git_batch + dirhash benutzt.

Tutorial 2: Nutze gitlab

Tutorial 3: Daten editieren

Bonus: notification (wenn batch fertig) per telegram bot anstatt per email

[bjuergens]

im wesentlich das, was schon im Beispiel "condor_notebook" gemacht wird, nur zusätzlich mit dirhash

[bjuergens]

todo:

• Beispiel mit daten anlegen
• dirhashen durchspielen
• example in readme abspeichern

[bjuergens]

erledigt mit 7557c9a

Ergebnis ist hier: https://github.com/SmartDataInnovationLab/git_batch#condor-and-dirhash

[bjuergens]

meeting BJ, TR:

add steps to tutorial:

• automatically create conda environment (note: conda has a command for that)
• add conda environment to example
• use git from conda

[bjuergens]

should run.sh do

conda list --explicit > conda_batch.txt

?

That way the experiment can be reproduced, even when the original conda env is not present anymore

[bjuergens]

todo: run on sdil (clone a conda env takes a surprisingly long time)