Τεχνητή νοημοσύνη: Το πρόγραμμα που διαβάζει κατεστραμμένες επιγραφές

Δεν είναι μύθος πως καθηγητές σε μεγάλα και φημισμένα πανεπιστήμια μπορεί να έχουν για χρόνια μεγάλο καημό μόνο και μόνο επειδή δεν μπόρεσαν σε όλη τους τη σταδιοδρομία μία έστω από τις πολυάριθμες επιστημονικές εργασίες τους να δημοσιευθεί στο «Nature» ή στο «Science». Τα δύο επιστημονικά περιοδικά όπου κάθε εβδομάδα εμφανίζεται ο αφρός των ερευνητικών εργασιών απ’ όλο τον κόσμο. Στις 10 Μαρτίου όμως ο Γιάννης, η Τέα, ο Μπρένταν, ο άλλος Γιάννης, η Μαρίτα, ο Ιων, ο Τζόναθαν, ο Νάντο είδαν τη δική τους 13 σελίδων εργασία όχι μόνον να δημοσιεύεται στο «Nature» αλλά να της αφιερώνεται ακόμη και το εξώφυλλο του περιοδικού, όπου η διεύθυνση είχε βάλει για τίτλο: «Προβλέποντας το παρελθόν», ενώ με μικρότερα γράμματα υπήρχε η επεξήγηση: «Η Τεχνητή Νοημοσύνη αποκαθιστά, χρονολογεί και εντοπίζει την τοποθεσία προέλευσης αρχαιοελληνικών κειμένων»!

Δεν ήταν λοιπόν και μικρό το κατόρθωμά τους, αν σκεφθούμε ότι ο μέσος όρος ηλικίας τους είναι ιδιαίτερα χαμηλός. Και είναι αλήθεια πως από την πρώτη στιγμή της δημοσίευσής της η εργασία θεωρήθηκε αξιοπρόσεκτη και από τους πιο «παλιούς», ομότιμους πλέον καθηγητές ξένων διάσημων πανεπιστημίων, που μπορεί να μη διδάσκουν τώρα αλλά κουβαλούν μια συσσωρευμένη πείρα ετών ανάμεικτη και με μια αναπόφευκτη «ακαδημαϊκή» αυστηρότητα. Αλλά δεν παύουν ακόμη να ενδιαφέρονται για το πρόβλημα της ανάγνωσης, της χρονολόγησης και του εντοπισμού της προέλευσης αρχαιοελληνικών (αλλά και μεταγενέστερων) επιγραφών.

Στον πηγαιμό για την Ιθάκη…

Αυτό που έκανε η πολυεθνική αυτή ομάδα, όπου κεντρικούς ρόλους είχαν και οι έλληνες ερευνητές, είναι και εύκολο και δύσκολο να εξηγηθεί. Ανάλογα με το πόσα θα ήθελε να καταλάβει κάποιος από τη δουλειά τους και για τον αντίστοιχο κόπο που απαιτείται. Μια βιαστική παρουσίαση θα ήταν να πει κάποιος ότι με τη βοήθεια ενός προγράμματος υπολογιστή, που πολύ εύστοχα ονομάστηκε Ithaca, εισάγεις το κείμενο μιας αρχαίας ελληνικής επιγραφής και στην οθόνη μετά από λίγο, όπου υπήρχαν δυσανάγνωστες λέξεις ή κενά, σου προτείνονται διάφορες εκδοχές συνοδευόμενες από ποσοστά πιθανότητας, μαζί με ένα εύρος χρονολογιών για το πότε κατά προσέγγιση δημιουργήθηκε η επιγραφή και μια σειρά από πιθανούς τόπους προέλευσής της.

Οπως λένε οι κατασκευαστές της: «Η «Ιθάκη» (ή αλλιώς Ithaca) είναι το πρώτο μοντέλο Τεχνητής Νοημοσύνης για την αποκατάσταση κειμένου κατεστραμμένων επιγραφών και τον προσδιορισμό του τόπου και της χρονολογίας γραφής τους. Για να κάνουμε την Ιθάκη ευρέως διαθέσιμη σε ερευνητές, εκπαιδευτικούς και μουσεία φτιάξαμε και  τον ιστοχώρο ithaca.deepmind.com, όπου οι ενδιαφερόμενοι μπορούν να χρησιμοποιήσουν την «Ιθάκη» για την έρευνά τους. Η προηγούμενη  δουλειά μας του 2019, που εστιάζει μόνο στην αποκατάσταση κειμένων και όχι στον προσδιορισμό του τόπου και του χρόνου γραφής, όπως κάνει τώρα η «Ιθάκη», χρησιμοποιείται ήδη από ιστορικούς, ακόμα και σχολεία. Επιπλέον, για να βοηθήσουμε μελλοντικές διεπιστημονικές έρευνες, έχουμε κάνει τον πηγαίο κώδικα δωρεάν διαθέσιμο, όπως και το εκπαιδευμένο μοντέλο, μαζί με ένα διαδραστικό Colaboratorynotebook».

Παίρνοντας τον μακρύ δρόμο

«Θέλουμε σε αυτή την προσπάθειά μας να έχουν πρόσβαση όλοι γιατί κι εμένα καθώς μεγάλωνα η οικογένειά μου με έμαθε τη σημασία τού να μοιράζεσαι και να προσφέρεις στο κοινωνικό σύνολο» λέει στο ΒΗΜΑ-Science ο  Γιάννης Ασσαέλ. Σήμερα είναι επιστήμονας-ερευνητής της ομάδας DeepMind της Google, με καταγωγή από τη Θεσσαλονίκη και αναφέρεται στο «Nature» ως ο ένας από τους δύο κύριους ερευνητές της εργασίας. Και επειδή κάθε άλλο παρά για μια βιαστική παρουσίαση της Ιthaca ενδιαφερόμαστε, του ζητήσαμε να μας βοηθήσει να κατανοήσουμε τον τρόπο λειτουργίας αυτού του προγράμματος μαζί με τη χρήση του γενικότερα. Και είναι αλήθεια πως το έκανε με πολύ μεγάλη προθυμία.

Η εκπαίδευση της «Ιθάκης»

Μία από τις βασικές ιδέες που διέπουν τη λειτουργία του προγράμματος είναι πως η «Ιθάκη» εκπαιδεύτηκε στα δεδομένα του μεγαλύτερου ψηφιακού αρχείου αρχαίων ελληνικών επιγραφών από το Packard Humanities Institute. Τα μοντέλα της Τεχνητής Νοημοσύνης για επεξεργασία φυσικής γλώσσας εκπαιδεύονται συνήθως εισάγοντας προτάσεις σε μορφή ακολουθίας λέξεων, καθώς η σειρά με την οποία εμφανίζονται οι λέξεις στις προτάσεις και οι σχέσεις μεταξύ τους καθορίζουν τη σημασία και το νόημα. Για παράδειγμα, το «ἄνδρα μοι ἔννεπε, μοῦσα, πολύτροπον…» ως σύνολο έχει περισσότερο νόημα από κάθε λέξη, και ακόμα περισσότερο από κάθε χαρακτήρα, ξεχωριστά. Ωστόσο, πολλές επιγραφές είναι κατεστραμμένες και συχνά λείπουν κομμάτια κειμένου.

Για να διασφαλιστεί ότι η Ιθάκη εξακολουθεί να λειτουργεί ακόμα και όταν οι λέξεις είναι μισοκατεστραμμένες, χρησιμοποιήθηκαν και λέξεις και μεμονωμένοι χαρακτήρες ως δεδομένα στην είσοδο. Ο μηχανισμός στον πυρήνα του μοντέλου Τεχνητής Νοημοσύνης αξιολογεί και τις δύο εισόδους παράλληλα, και έτσι επιτρέπει στην Ιθάκη να τις εναλλάσσει ανάλογα με τις ανάγκες της εκάστοτε περίπτωσης. Διότι, όπως λέει χαρακτηριστικά ο κ. Ασσαέλ, «ένα σπάραγμα λέξης δεν μπορεί να δοθεί ως ολόκληρη λέξη στην είσοδο, καθώς της λείπουν κάποια γράμματα. Μπορούν όμως να γίνουν δεκτοί οι χαρακτήρες του σπαράγματος». Επιπλέον η «Ιθάκη» μπορεί να εντοπίζει μέσα στο κείμενο ποιες είναι εκείνες οι περιοχές που παίζουν ρόλο για την εξιχνίαση του «μυστηρίου». Ενός μυστηρίου που προκύπτει κάθε φορά με λέξεις μισές ή εντελώς δυσανάγνωστες.

Το πείραμα και η «εκπαίδευση»

Ας παρακολουθήσουμε την επεξεργασία που υφίσταται το τμήμα «δήμο το αθηναίων» μιας αθηναϊκής επιγραφής, όπου έχουμε κρύψει τους χαρακτήρες «δημ». Φθάνοντας στο κυρίως μέρος του προγράμματος, που είναι ένα τεχνητό νευρωνικό δίκτυο, το κείμενο της εισόδου περνάει από έναν μηχανισμό που ονομάζεται SparseMulti-HeadAttention. Εκεί γίνεται μια επεξεργασία σε οκτώ διαδοχικά στάδια, όπου τα αποτελέσματα του καθενός σταδίου αποτελούν τις εισόδους του επόμενου. Η λέξη «attention» που μεταφράζεται ως προσοχή στα ελληνικά είναι κομβική. Σημαίνει ότι σε κάθε στάδιο το πρόγραμμα ψάχνει σε όλο το υπόλοιπο κείμενο για να εντοπίσει διάφορα σημεία (λέξεις ή χαρακτήρες) που να μπορούν να το βοηθήσουν να καταλήξει στα συμπεράσματά του. Μαθαίνει δηλαδή να εστιάζει την προσοχή του στα σημαντικότερα κομμάτια του υπόλοιπου κειμένου, ώστε να μπορεί να συμπληρώνει όποια κομμάτια λείπουν. Εκτός όμως από την έρευνα για τη συμπλήρωση της λειψής λέξης, παράλληλα εκτελούνται και δύο άλλες διαδικασίες για τον προσδιορισμό της χρονολογίας και της τοποθεσίας προέλευσης του κειμένου.

Ολα αυτά βέβαια δεν γίνονται μόνα τους. Πρέπει πολλοί άνθρωποι να συνεργαστούν για να προκύψει μια πρώτη μορφή του μαθηματικού μοντέλου Τεχνητής Νοημοσύνης και στη συνέχεια να ακολουθήσει το πιο κρίσιμο στάδιο. Αυτό της «εκπαίδευσης» του νευρωνικού δικτύου ώστε να παράγει σωστά αποτελέσματα σε κείμενα που του δίνονται για να εκπαιδευτεί, δηλαδή σε κείμενα για τα οποία ξέρουμε ήδη από πριν ποια τμήματα λείπουν, τη χρονολογία και την τοποθεσία. Και αν ρωτήσει κάποιος ποιο είναι το εύρος αυτής της εκπαίδευσης, η απάντηση εδώ είναι πως από 170.000 κείμενα εκπαίδευσης (επιγραφές) χρησιμοποιήθηκαν 78.000, τα οποία είχαν κατάλληλη μορφή. Από αυτά, 63.000 περίπου χρησίμευσαν για την εκπαίδευση και μετά δοκιμάστηκαν 14.000 που δεν τα είχε δει ποτέ πριν το πρόγραμμα, για να ελεγχθεί η αξιόπιστη λειτουργία του. Αξίζει να σημειωθεί, όμως, ότι στη διάρκεια της εκπαίδευσης το ίδιο το σύστημα δημιουργεί πάρα πολλές παραλλαγές των κειμένων εκπαίδευσης. Για παράδειγμα, κρύβει μόνο του κάποια τμήματα των κειμένων και προσπαθεί να μαντέψει τα κρυμμένα τμήματα κοιτάζοντας μόνο τα υπόλοιπα τμήματα των κειμένων. Ετσι τα παραδείγματα εκπαίδευσης γίνονται στην πραγματικότητα πολύ περισσότερα.

Ερευνητικό εργαλείο

Προκειμένου η «Ιθάκη» να χρησιμοποιηθεί ως ερευνητικό εργαλείο, δημιουργήθηκε μια σειρά οπτικών βοηθημάτων για να διασφαλιστεί ότι οι προτάσεις του μοντέλου θα είναι εύκολα ερμηνεύσιμες από τους ιστορικούς:

–Αποκατάσταση κειμένου: Η «Ιθάκη» προτείνει πολλαπλές υποθέσεις για την αποκατάσταση ενός κειμένου, έτσι ώστε οι ιστορικοί να επιλέξουν χρησιμοποιώντας τις γνώσεις τους.

–Εντοπισμός του τόπου γραφής: Η «Ιθάκη» υποδεικνύει μια κατανομή πιθανοτήτων για όλους τους ενδεχόμενους τόπους γραφής – αντί ενός μόνο αποτελέσματος. Ετσι, προτείνει πιθανότητες για 84 διαφορετικές αρχαίες περιοχές και οπτικοποιεί τα αποτελέσματα σε έναν χάρτη ώστε να ρίξει φως και να αναδείξει πιθανές υποκείμενες γεωγραφικές συνδέσεις του αρχαίου κόσμου.

–Χρονολόγηση: Για τη χρονολόγηση ενός κειμένου η «Ιθάκη» παράγει μια κατανομή πιθανοτήτων για όλες τις δεκαετίες από το 800 π.Χ. έως το 800 μ.Χ. Αυτό επιτρέπει στους ιστορικούς να οπτικοποιήσουν τις υποθέσεις του μοντέλου για συγκεκριμένα εύρη ημερομηνιών.

–Χάρτες σημαντικότητας (saliency maps): Για να «εξηγήσει» τα αποτελέσματα στους ιστορικούς, η Ithaca χρησιμοποιεί μια τεχνική υπόδειξης των τμημάτων του κειμένου που συμβάλλουν περισσότερο σε κάθε πρόβλεψη. Στις προτάσεις, οι λέξεις εμφανίζονται με διαφορετικές χρωματικές εντάσεις ανάλογα με το πόσο βασίστηκε στην κάθε μία λέξη η πρόβλεψη του συστήματος.

Πόσο χρήσιμο μπορεί να είναι

Οπως αναφέρουν οι άνθρωποι που ασχολήθηκαν με αυτή την ερευνητική εργασία «τα αποτελέσματα της μελέτης μας επιβεβαιώνουν πως οι προτάσεις της «Ιθάκης» μπορούν να διευκολύνουν το δύσκολο έργο των ερευνητών. Οι επιγραφολόγοι-ιστορικοί με τους οποίους εργαστήκαμε είχαν 25% ακρίβεια όταν εργάζονταν μόνοι τους για την αποκατάσταση αρχαίων κειμένων. Ομως, χρησιμοποιώντας την «Ιθάκη», η απόδοσή τους αυξάνεται στο 72%, ξεπερνώντας την απόδοση του ίδιου του προγράμματος, δείχνοντας πόσο σημαντική είναι η συνεργασία ανθρώπου και Τεχνητής Νοημοσύνης στη μελέτη της Ιστορίας. Επιπρόσθετα, η τεχνολογία αυτή θα μπορούσε να χρησιμοποιηθεί για να ρίξει φως σε υπάρχουσες θεωρίες και υποθέσεις. Για παράδειγμα, αρκετοί ιστορικοί σήμερα διαφωνούν σχετικά με τη χρονολόγηση σειράς σημαντικών αθηναϊκών διαταγμάτων που εκδόθηκαν σε μία από τις πλέον σημαίνουσες ιστορικές περιόδους της Αθήνας. Στην εποχή του Σωκράτη και του Περικλή. Παλαιότερα τα διατάγματα αυτά θεωρείτο ότι γράφτηκαν πριν από το 446/445 π.Χ., αν και νέα στοιχεία υποδεικνύουν ως πιο πιθανή χρονολογία το 420 π.Χ. Μπορεί η διαφορά να φαίνεται μικρή, ωστόσο τα διατάγματα αυτά είναι θεμελιώδη για την κατανόηση της πολιτικής ιστορίας της κλασικής Αθήνας.

Η βάση δεδομένων αρχαίων ελληνικών επιγραφών που χρησιμοποιείται για την εκπαίδευση της «Ιθάκης» περιέχει την παλαιότερη χρονολόγηση του 446/445 π.Χ. Για να ελέγξουμε τις προτάσεις της «Ιθάκης» την επανεκπαιδεύσαμε σε ένα σύνολο δεδομένων που δεν περιείχε τις συγκεκριμένες επιγραφές και στη συνέχεια τις υποβάλαμε για ανάλυση. Είναι αξιοσημείωτο ότι η μέση προβλεπόμενη ημερομηνία από την «Ιθάκη» για τα διατάγματα είναι το 421 π.Χ., κάτι που συμβαδίζει με τις πιο πρόσφατες θεωρίες χρονολόγησης. Και αυτό δηλώνει με τη σειρά του ότι η Τεχνητή Νοημοσύνη μπορεί να συμβάλει αποτελεσματικά σε συζητήσεις σχετικές με τις πιο σημαντικές στιγμές στην ελληνική Ιστορία. Η γεφύρωση της επιστήμης της πληροφορικής με τις ανθρωπιστικές επιστήμες χρειάζεται χρόνο, και το Οικονομικό Πανεπιστήμιο της Αθήνας έχει επενδύσει σε αυτό» μας είπε ο κ. Παυλόπουλος, ο οποίος μαζί με τον κ. Ανδρουτσόπουλο, καθηγητή Τεχνητής Νοημοσύνης στο Τμήμα Πληροφορικής του Οικονομικού Πανεπιστημίου Αθηνών και επικεφαλής της Ομάδας Επεξεργασίας Φυσικής Γλώσσας (nlp.cs.aueb.gr), βοήθησε να πραγματοποιηθούν κάποια από τα παραπάνω. O κ. Ανδρουτσόπουλος συμπληρώνει πως τους χαροποίησε ιδιαίτερα το ότι μέρος της έρευνας του άρθρου βασίστηκε και σε μεταπτυχιακή διπλωματική εργασία της Μαρίτας Χατζηπαναγιώτου, που πρόσφατα αποφοίτησε από το Πρόγραμμα Μεταπτυχιακών Σπουδών «Ψηφιακές Μέθοδοι για τις Ανθρωπιστικές Επιστήμες» του Οικονομικού Πανεπιστημίου Αθηνών.

Πρακτική διερεύνηση

Για να καταλάβουμε και εμείς στο ΒΗΜΑ-Science πόσο εύκολο ή δύσκολο είναι να χρησιμοποιήσεις την «Ιθάκη» δεν διστάσαμε να ακολουθήσουμε την προτροπή της ομάδας να τη δοκιμάσουμε μέσω της διεύθυνσης ithaca.deepmind.com. Παίρνοντας μια αθηναϊκή επιγραφή στο σημείο όπου αναφερόταν το όνομα του Απόλλωνα («απόλλωνι»). Εκεί αφήσαμε από αυτό μόνον τα τρία πρώτα γράμματα, δηλαδή το «απο…» και βάλαμε πέντε ερωτηματικά για το υπόλοιπο της λέξης. Οταν πέρασε το κείμενο από την «Ιθάκη» και λόγω των χαρακτηριστικών ονομάτων που εμπεριέχει διαπιστώσαμε πως ως προς την προέλευση υπήρχε μόνον μία εκδοχή, ότι δηλαδή ήταν από την Αθήνα χωρίς καμία αμφιβολία. Ως προς τη χρονολογία η «Ιθάκη» προβλέπει ακριβώς τη δεκαετία του 180-170 π.Χ. ως πιο πιθανή, με μέση πρόβλεψη το 172 π.Χ., κάτι που έρχεται σε συμφωνία με την πηγή του κειμένου, που το χρονολογεί στο 175-174 π.Χ. Ως προς την ακρωτηριασμένη λέξη, η «Ιθάκη» μας πρότεινε διάφορες εκδοχές με πιο πιθανή αυτήν που ήταν και η σωστή, αποκαθιστώντας τα γράμματα «λλωνι» που έλειπαν στο απο-λλωνι. Εδώ ίσως αναρωτηθεί κάποιος, αν έχω μόνον κάποια γράμματα της (άγνωστης και ακρωτηριασμένης) λέξης πώς θα γνωρίζω πόσα γράμματα είχε για να βάλω τα αντίστοιχα ερωτηματικά; Από τη δοκιμή που κάναμε διαπιστώσαμε πως και με το ένα ερωτηματικό το πρόγραμμα κατόρθωσε να δώσει με την υψηλότερη πιθανότητα το επόμενο γράμμα, το «λ», άρα το ανθρώπινο μυαλό θα πήγαινε ίσως εύκολα στον Απόλλωνα. Γενικά φαίνεται πως κάποιος θα μπορούσε να πάει και ψηλαφώντας με αυτόν τον τρόπο μέχρι το τέλος. Αλλωστε λέγεται και ότι οι επιγραφολόγοι μπορούν κάποιες φορές να εκτιμήσουν τον αριθμό γραμμάτων που έχουν χαθεί, μελετώντας το αντικείμενο που είχε την επιγραφή επάνω του.

Πάντως έτσι καταλάβαμε καλύτερα και αυτό που αναφέρεται μέσα στην εργασία, ότι η συνεργασία του ανθρώπου με το πρόγραμμα τριπλασιάζει, σε σχέση με το να εμπιστευτείς μόνον αυτό, τη δυνατότητα συμπλήρωσης και εκτίμησης της χρονολογίας και της τοποθεσίας μιας επιγραφής.

Είναι αδιαμφισβήτητο πως οι άνθρωποι που εργάστηκαν για να δημιουργηθεί η «Ιθάκη» έχουν ανοίξει μια μεγάλη πόρτα πλέον, αφού επεκτείνονται τώρα οι έρευνες και το πρόγραμμα προσαρμόζεται και στις απαιτήσεις κειμένων γραμμένων και σε άλλες αρχαίες γλώσσες. Μια επιτυχία και στις νέες αυτές γλώσσες θα είναι η καλύτερη ανταμοιβή για τους δημιουργούς της «Ιθάκης», αφού διάλεξαν να μην εκμεταλλευθούν οικονομικά το πρόγραμμα και απλά «να το δώσουν και στους άλλους». Ετσι, ως αντίδωρο.

Ο πηγαίος κώδικας του Ithaca είναι δωρεάν διαθέσιμος στον διαδικτυακό τόπο: (GitHub – deepmind/ithaca: Restoring and attributingancienttextsusingdeepneuralnetworks)

Η μηχανική μάθηση και οι προβλέψεις

Η μηχανική μάθηση είναι ένας υπο-τομέας της Τεχνητής Νοημοσύνης. Ασχολείται με τη μελέτη και την κατασκευή μεθόδων που μαθαίνουν αυτόματα από δεδομένα να εκτελούν εργασίες θεωρούμενες συνήθως ότι απαιτούν ευφυΐα. Η βαθιά μάθηση είναι ένα είδος μηχανικής μάθησης που χρησιμοποιεί «βαθιά» τεχνητά νευρωνικά δίκτυα, δηλαδή υπολογιστικά μοντέλα που συνδέουν πολύ μεγάλους αριθμούς τεχνητών νευρώνων, διατεταγμένους σε πολλαπλά στρώματα (ή επίπεδα). Κάθε στρώμα τροφοδοτεί με προβλέψεις το επόμενο. Κατά την εκπαίδευση ενός τεχνητού νευρωνικού δικτύου, προσαρμόζονται τα βάρη των συνδέσεων μεταξύ των στρωμάτων, ώστε να παράγονται οι σωστές τελικές προβλέψεις. Η έμπνευση προέρχεται από τον τρόπο λειτουργίας του εγκεφάλου, όπου διασυνδέονται μεγάλοι αριθμοί κυττάρων-νευρώνων. Στην περίπτωσή μας, η είσοδος του δικτύου είναι το αρχαίο κείμενο, ενώ οι τελικές προβλέψεις είναι τα τμήματα του κειμένου που λείπουν, η χρονολογία και η τοποθεσία.