Τεχνητή νοημοσύνη: Η καλά κρυμμένη «συνταγή» – Πώς οι εταιρείες παράγουν φθηνές λύσεις

Στο κυνήγι της μείωσης του κόστους επιδίδονται οι εταιρείες τεχνητής νοημοσύνης, αντιγράφοντας πρακτικά τις εργασίες η μία της άλλης για να φτιάξουν όλο και πιο φθηνά γλωσσικά μοντέλα. Άλλωστε, όπως γράφει το business insider, τελικά στην ερώτηση πόσο κοστίζει να ξεκινηνήσει κάποιος μια εταιρεία AI η απάντηση είναι όλο και λιγότερα, καθώς τα μεγάλα γλωσσικά μοντέλα δημιουργούνται για όλο και μικρότερα ποσά.

Η απόσταξη στην τεχνητή νοημοσύνη

Η τεχνική αυτή, έχει ενθουσιάσει τους πιο μικρούς παίχτες λόγω του ότι μπορεί να δημιουργεί γλωσσικά μοντέλαα μειώνοντας το κόστος υπολογιστικής ισχύος. Δεν ισχύει βέβαια ο ίδιος ενθουσιασμός και  για τις μεγάλες πολυεθνικές που έχουν επενδύσει δισσεκατομύρια τεράστια foundation models. Η απόσταξη θεωρείται μια παλία έννοια που κερδίζει νέα σημασία.

Είναι ένα εργαλείο που χρησιμοποιούν οι προγραμματιστές, μαζί με τη βελτίωση (fine-tuning), για να βελτιώσουν τα μοντέλα κατά τη φάση εκπαίδευσης, αλλά με πολύ μικρότερο κόστος από άλλες μεθόδους. Οι δύο αυτές  τεχνικές χρησιμοποιούνται για να δώσουν στα μοντέλα ειδικές γνώσεις ή ικανότητες. Για τους περισσότερους, είναι καλή είδηση ενώ για άλλους  είναι περίπλοκη.  Σε κάθε περίπτωση για το μέλλον της τεχνητής νοημοσύνης, είναι σημαντική.

Ο ορισμός της απόσταξης

Οι προγραμματιστές και οι ειδικοί της τεχνητής νοημοσύνης ορίζουν την  απόσταξη ως μια διαδικασία στην οποία γίνεται χρήση ενός μοντέλου για να βελτιώσει ένα άλλο. Ένα μεγαλύτερο μοντέλο στο ρόλο του «δασκάλου»,  προτρέπει το σύστημα να παράγει απαντήσεις και μονοπάτια λογικής ενώ και ένα μικρότερο “μαθητευόμενο” μοντέλο μιμείται τη συμπεριφορά του.

Η κινεζική εταιρεία DeepSeek προκάλεσε αίσθηση με τα μοντέλα που θεωρείται ότι εκπαιδεύτηκαν με κόστος περίπου 5 εκατ. δολάρια. Αυτό έστειλε τις χρηματοπιστωτικές αγορές σε πανικό, τιμωρώντας την Nvidia με μια απώλεια 600 δισ.  δολαρίων σε κεφαλαιοποίηση της αγοράς λόγω της πιθανής μείωσης της ζήτησης για τσιπ (αν και αυτή η πτώση δεν έχει υλοποιηθεί ακόμα).

Η ομάδα ερευνητών του Πανεπιστημίου της Καλιφόρνιας, στο Μπέρκλεϊ, εκπαίδευσεε δύο νέα μοντέλα με λιγότερο από 1.000 δολάρια σε υπολογιστικό κόστος, όπως ανέφερε η έρευνα τον Ιανουάριο.

Στις αρχές Φεβρουαρίου, ερευνητές από το Πανεπιστήμιο Στάνφορντ, το Πανεπιστήμιο της Ουάσιγκτον και το Allen Institute for AI κατάφεραν να εκπαιδεύσουν ένα μοντέλο λογικής για ένα μικρό κλάσμα αυτού του κόστους, σύμφωνα με έρευνα.

Η απόσταξη  κλειδί για όλες αυτές τις εξελίξεις

Ας πάρουμε για παράδειγμα  ένα γενικό μοντέλο βάσης όπως το Llama της Meta  και τη χρήση ενός άλλου μοντέλου ώστε να το αποστάξει  ένας ειδικό για το αμερικανικό φορολογικό δίκαιο. Επίσης μπορεί να χρησιμοποιηθεί το μοντέλο λογικής R1 της DeepSeek για να αποσταγεί από το Llama, προσθέτοντας περισσότερες ικανότητες λογικής. Το AI παίρνει περισσότερο χρόνο για να παράξεθ μια απάντηση, αμφισβητώντας τη δική του λογική και αναλύει τη διαδικασία για να φτάσει σε μια άλλη απάντηση βήμα προς βήμα.

“Ίσως το πιο ενδιαφέρον κομμάτι του R1 ήταν ότι καταφέραμε να μετατρέψουμε μικρότερα μοντέλα που δεν κάνουν λογική σε μοντέλα λογικής μέσω της βελτίωσής τους με εξόδους από ένα μοντέλο λογικής”, ανέφεραν αναλυτές της SemiAnalysis τον Ιανουάριο.

Εκτός από την προσιτή τιμή — τουλάχιστον για την τεχνητή νοημοσύνη — η DeepSeek δημοσίευσε αποσταγμένα μοντέλα άλλων ανοιχτών πηγών χρησιμοποιώντας το μοντέλο λογικής R1 ως “δάσκαλο”. Τα πλήρη μοντέλα της DeepSeek, καθώς και οι μεγαλύτερες εκδόσεις του Llama, είναι τόσο μεγάλα που μόνο συγκεκριμένος εξοπλισμός μπορεί να τα τρέξει. Η απόσταξη βοηθά και σε αυτό.

“Το αποσταγμένο μοντέλο έχει μικρότερο αποτύπωμα, λιγότερους παραμέτρους, λιγότερη μνήμη”, είπε ο Σαμίρ Κουμάρ, γενικός εταίρος της Touring Capital. “Μπορείς να το τρέξεις στο τηλέφωνό σου. Μπορείς να το τρέξεις σε συσκευές άκρης.”

Η ανακάλυψη της DeepSeek ήταν ότι τα αποσταγμένα μοντέλα δεν χειροτέρεψαν καθώς γίνονταν μικρότερα, όπως αναμενόταν, αντίθετα, έγιναν καλύτερα.

Η απόσταξη δεν είναι νέα απλά έχει αλλάξει

Η τεχνική της απόσταξης εμφανίστηκε για πρώτη φορά σε μια εργασία του 2015 από τους διάσημους βετεράνους της Google AI, Τζεφ Ντιν και Τζεφρί Χίντον, και τον αντιπρόεδρο έρευνας της DeepMind, Όριολ Βινιάλς.

Ο Βινιάλς δήλωσε πρόσφατα ότι η εργασία απορρίφθηκε από το prestigious συνέδριο NeurIPS γιατί δεν θεωρήθηκε ότι είχε σημαντικό αντίκτυπο στον τομέα. Δέκα χρόνια αργότερα, η απόσταση είναι ξαφνικά στην κορυφή της συζήτησης για την τεχνητή νοημοσύνη. Αυτό που κάνει την απόσταξη τόσο ισχυρή τώρα, σε αντίθεση με τότε, είναι ο αριθμός και η ποιότητα των ανοιχτών πηγών μοντέλων που χρησιμοποιούνται ως “δασκάλοι”.

Θερριεύει ο ανταγωνισμός

Η απόσταξη έχει φέρει ευκαιρίες, αλλά αναμένεται να συναντήσει αντιδράσεις λόγω της απειλής που θέτει στα τεράστια, ακριβά, ιδιόκτητα μοντέλα όπως εκείνα που κατασκευάζονται από την OpenAI και την Anthropic.  Υπάρχουν επίσης πιο επιθετικές τακτικές που μπορεί να ακολουθήσουν οι εταιρείες μοντέλων βάσης, όπως ανέφεραν  ερευνητές της Google DeepMind. Οι εταιρείες με μοντέλα λογικής θα μπορούσαν να αφαιρέσουν ή να μειώσουν τα βήματα ή “ίχνη” λογικής που παρουσιάζονται στον χρήστη, ώστε να μην μπορούν να χρησιμοποιηθούν για απόσταξη. Η OpenAI κρύβει το πλήρες μονοπάτι λογικής στο μεγάλο μοντέλο λογικής o1, αλλά έχει κυκλοφορήσει έκδοση μικρότερη, το o3-mini, που δείχνει αυτές τις πληροφορίες.

Παρόλα αυτά, είναι εξαιρετικά δύσκολο να κλειστεί το «τζίνι» της απόσταξγης πίσω στο λυχνάρι, καθώς η ανοιχτή άγρια δύση της τεχνητής νοημοσύνης είναι πλεόν γεγονός