DeepSeek: Οι Κινέζοι αποκαλύπτουν το μυστικό της «ενισχυτικής μάθησης»

Το κινεζικό εργαστήριο τεχνητής νοημοσύνης DeepSeek υιοθέτησε καινοτόμες τεχνικές για την ανάπτυξη ενός μοντέλου τεχνητής νοημοσύνης που εκπαιδεύτηκε με περιορισμένη ανθρώπινη παρέμβαση, παράγοντας κάτι εντελώς νέο που θα μπορούσε να μεταμορφώσει το κόστος για τους προγραμματιστές να δημιουργήσουν κορυφαίες εφαρμογές τεχνητής νοημοσύνης.

Σύμφωνα με τα όσα έχει δημοσιοποιήσει η DeepSeek σχετικά με τη λειτουργία του μοντέλου R1 αποκαλύπτεται ότι η ομάδα πέτυχε ισχυρά αποτελέσματα με την εξάλειψη των σημείων συμφόρησης στην ανάπτυξη της AI.

Η αντεπίθεση της… Κίνας – Μοντέλο ΑΙ και από την Alibaba

Το έγγραφο δείχνει πώς η DeepSeek υιοθέτησε μια σειρά από πιο αποτελεσματικές τεχνικές για την ανάπτυξη του R1, το οποίο, όπως και το ανταγωνιστικό μοντέλο o1 της OpenAI, παράγει ακριβείς απαντήσεις «σκεπτόμενο» βήμα προς βήμα για τις απαντήσεις του για μεγαλύτερο χρονικό διάστημα από ό,τι τα περισσότερα μεγάλα γλωσσικά μοντέλα.

Η πρωτοπορία της DeepSeek προέρχεται από τη χρήση της «ενισχυτικής μάθησης» για τη μείωση της ανθρώπινης συμμετοχής που εμπλέκεται στην παραγωγή απαντήσεων.

Η κινεζική startup δημιούργησε επίσης μικρότερα μοντέλα με λιγότερες παραμέτρους – τον αριθμό των μεταβλητών που χρησιμοποιούνται για την εκπαίδευση ενός συστήματος τεχνητής νοημοσύνης και τη διαμόρφωση των αποτελεσμάτων του – με ισχυρές ικανότητες συλλογισμού, βελτιώνοντας μεγάλα μοντέλα που εκπαιδεύτηκαν από ανταγωνιστές όπως η Meta και η Alibaba.

Μαζί, αυτές οι εξελίξεις έχουν προκαλέσει σοκ σε όλη τη Silicon Valley, καθώς το R1 υπερέχει σε ορισμένες εργασίες σε σύγκριση με τα μοντέλα που κυκλοφόρησαν πρόσφατα από την OpenAI, την Anthropic και τη Meta, αλλά με ένα κλάσμα των χρημάτων που δαπανήθηκαν για την ανάπτυξή τους.

«Νομίζω ότι είναι μόνο η κορυφή του παγόβουνου όσον αφορά το είδος της καινοτομίας που μπορούμε να περιμένουμε σε αυτά τα μοντέλα», δήλωσε στους Financial Times ο Νιλ Λόρενς, καθηγητής μηχανικής μάθησης της DeepMind στο πανεπιστήμιο του Κέιμπριτζ. «Η ιστορία δείχνει ότι οι μεγάλες επιχειρήσεις δυσκολεύονται να καινοτομήσουν καθώς ανεβαίνουν επίπεδο, και αυτό που έχουμε δει από πολλές από αυτές τις μεγάλες επιχειρήσεις είναι η υποκατάσταση της πνευματικής σκληρής δουλειάς από επενδύσεις σε υπολογιστές».

Η κινεζική εταιρεία διαπίστωσε ότι κάνοντας αυτή τη διαδικασία αρκετές φορές, το μοντέλο κατάφερε να επιλύει αυθόρμητα προβλήματα χωρίς ανθρώπινη επίβλεψη

Οι… ιδιαίτερες ικανότητες του μοντέλου της DeepSeek

Τα μεγάλα γλωσσικά μοντέλα κατασκευάζονται σε δύο στάδια. Το πρώτο ονομάζεται «προ-εκπαίδευση», κατά το οποίο οι προγραμματιστές χρησιμοποιούν τεράστια σύνολα δεδομένων που βοηθούν τα μοντέλα να προβλέψουν την επόμενη λέξη σε μια πρόταση. Το δεύτερο στάδιο ονομάζεται «μετεκπαίδευση», μέσω του οποίου οι προγραμματιστές μαθαίνουν στο μοντέλο να ακολουθεί οδηγίες, όπως η επίλυση μαθηματικών προβλημάτων ή η κωδικοποίηση.

Ένας τρόπος για να κάνουν τα chatbots να παράγουν πιο χρήσιμες απαντήσεις ονομάζεται «ενισχυτική μάθηση από την ανθρώπινη ανατροφοδότηση» (RLHF), μια τεχνική που εφαρμόστηκε πρωτοποριακά από την OpenAI για τη βελτίωση του ChatGPT.

Η RLHF λειτουργεί με ανθρώπινους σχολιαστές που επισημαίνουν τις απαντήσεις του μοντέλου AI και επιλέγουν τις απαντήσεις που είναι καλύτερες. Αυτό το βήμα είναι συχνά επίπονο, ακριβό και χρονοβόρο, απαιτώντας συχνά έναν μικρό στρατό ανθρώπων που καλούνται να επισημάνουν δεδομένα.

Η μεγάλη καινοτομία της DeepSeek είναι η αυτοματοποίηση αυτού του τελικού βήματος, χρησιμοποιώντας μια τεχνική που ονομάζεται ενισχυτική μάθηση (RL), κατά την οποία το μοντέλο τεχνητής νοημοσύνης ανταμείβεται για το ότι κάνει το σωστό.

Η DeepSeek ανέπτυξε αρχικά ένα ισχυρό μοντέλο πρόβλεψης κειμένου που ονομάζεται V3. Στη συνέχεια χρησιμοποίησε RL για να «ανταμείψει» το μοντέλο, όπως για παράδειγμα να του δώσει ένα μπράβο για τη δημιουργία της σωστής απάντησης.

Η κινεζική εταιρεία διαπίστωσε ότι κάνοντας αυτή τη διαδικασία αρκετές φορές, το μοντέλο κατάφερε να επιλύει αυθόρμητα προβλήματα χωρίς ανθρώπινη επίβλεψη.

Η τεχνική αυτή χρησιμοποιήθηκε επίσης από την Google DeepMind για την κατασκευή του AlphaGo, του συστήματος τεχνητής νοημοσύνης που νίκησε τους ανθρώπινους παίκτες στο αρχαίο επιτραπέζιο παιχνίδι Go και έδωσε το έναυσμα για την τρέχουσα έκρηξη των τεχνικών υπολογιστικής βαθιάς μάθησης πριν από σχεδόν μια δεκαετία.

Η DeepSeek δήλωσε ότι ανακάλυψε ότι το μοντέλο είχε αυτή την ιδιαίτερη δυνατότητα όταν επαναξιολόγησε τις απαντήσεις του και προσάρμοσε τον χρόνο επεξεργασίας του για την επίλυση διαφορετικών ερωτήσεων.

«Η ικανότητα αυτή χρησιμεύει ως μια ισχυρή υπενθύμιση των δυνατοτήτων της [RL] να ξεκλειδώσει νέα επίπεδα νοημοσύνης στα τεχνητά συστήματα, ανοίγοντας το δρόμο για πιο αυτόνομα και προσαρμοστικά μοντέλα στο μέλλον», έγραψαν οι δημιουργοί της DeepSeek στο ερευνητικό τους έγγραφο.

Ο Λιούις Τάνσταλ, ερευνητής στην Hugging Face, μια εταιρεία έρευνας τεχνητής νοημοσύνης, δήλωσε στους Financial Times: «Φαίνεται ότι η “μυστική συνταγή” για να πετύχει αυτό είναι απλά να έχεις ένα πολύ, πολύ ισχυρό προ-εκπαιδευμένο μοντέλο και στη συνέχεια να έχεις απλά πολύ, πολύ καλή υποδομή για να κάνεις αυτή τη διαδικασία ενισχυτικής μάθησης σε μεγάλη κλίμακα».

Μικρά μοντέλα χτισμένα με τη χρήση μεγάλων μοντέλων

Ενώ η OpenAI και η Google επενδύουν δισεκατομμύρια δολάρια για την κατασκευή μεγάλων γλωσσικών μοντέλων, η DeepSeek έχει επίσης κατασκευάσει μικρότερα μοντέλα που μπορούν να εκτελούνται σε τηλέφωνα ή προγράμματα περιήγησης στο διαδίκτυο, «αποστάζοντας» τις δυνατότητες συλλογισμού των μεγαλύτερων μοντέλων.

Η DeepSeek χρησιμοποίησε το μοντέλο R1 για να δημιουργήσει ένα σχετικά μικρό σύνολο 800.000 σημείων δεδομένων και στη συνέχεια βελτίωσε τα μοντέλα που κατασκευάστηκαν από ανταγωνιστές όπως το Qwen της Alibaba και το Llama της Meta χρησιμοποιώντας αυτά τα δεδομένα που δημιούργησε η τεχνητή νοημοσύνη.

Η DeepSeek διαπίστωσε ότι αυτά τα «αποσταγμένα» μοντέλα ήταν ιδιαίτερα ισχυρά στα σημεία αναφοράς συλλογισμού, σε ορισμένες περιπτώσεις ξεπερνώντας τα μοντέλα-ναυαρχίδες, όπως το Claude της Anthropic. «Μπορεί βασικά να λύσει τα περισσότερα από τα μαθηματικά προβλήματα που έκανα στο προπτυχιακό μου», δήλωσε χαρακτηριστικά ο Τάνσταλ.

Αυτή η εξέλιξη θα μπορούσε να αποτελέσει ευλογία για τους προγραμματιστές εφαρμογών, οι οποίοι έχουν έναν φθηνό και αποτελεσματικό τρόπο για την κατασκευή προϊόντων. Η διδασκαλία των μοντέλων τεχνητής νοημοσύνης να σκέφτονται κατά τη διάρκεια της «συμπερασματολογίας» – όταν το μοντέλο παράγει απαντήσεις – είναι πολύ πιο αποτελεσματική από τη διαδικασία προ-εκπαίδευσης, η οποία απαιτεί μεγάλη υπολογιστική ισχύ, σύμφωνα με τον Λέναρτ Χάιμ, ερευνητή στην Rand, μια δεξαμενή σκέψης.

Οι αμερικανικές εταιρείες τεχνητής νοημοσύνης έχουν επίσης εργαστεί για τη χρήση των δυνατοτήτων των μεγάλων, υπερσύγχρονων μοντέλων τους σε μικρότερα, πιο ευέλικτα μοντέλα

Αυτό το νέο παράδειγμα θα μπορούσε να επιτρέψει στους ανταγωνιστές να κατασκευάσουν ανταγωνιστικά μοντέλα με πολύ λιγότερη υπολογιστική ισχύ και χρήματα, πρόσθεσε. Ωστόσο, χωρίς χρήματα για τσιπ, «απλά δεν μπορούν να τα αναπτύξουν στην ίδια κλίμακα», δήλωσε ο Χάιμ.

Η DeepSeek δεν δήλωσε πόσα δαπάνησε για την κατασκευή του R1, αλλά ισχυρίστηκε ότι εκπαίδευσε το μοντέλο V3, στο οποίο βασίζεται το R1, με μόνο 5,6 εκατ. δολάρια.

Το ποσό αυτό δεν περιλαμβάνει άλλες δαπάνες, όπως η πιθανή απόκτηση χιλιάδων μονάδων επεξεργασίας γραφικών για την εκπαίδευση του μοντέλου, ή μισθούς, πειράματα, εκπαίδευση και ανάπτυξη, δήλωσε ο Χάιμ στους Financial Times.

Και ενώ η DeepSeek ήταν η πρώτη που χρησιμοποίησε τις συγκεκριμένες τεχνικές, άλλα εργαστήρια τεχνητής νοημοσύνης αναμένεται να ακολουθήσουν, με το Hugging Face να εργάζεται ήδη για την αντιγραφή του R1, αναφέρει το δημοσίευμα.

Οι αμερικανικές εταιρείες τεχνητής νοημοσύνης έχουν επίσης εργαστεί για τη χρήση των δυνατοτήτων των μεγάλων, υπερσύγχρονων μοντέλων τους σε μικρότερα, πιο ευέλικτα μοντέλα. Η Google λάνσαρε πέρυσι το Gemma, το οποίο είναι ένα πιο ελαφρύ μοντέλο βασισμένο στο δικό της Gemini.

«Η συνταγή της νοημοσύνης είναι αρκετά απλή», λέει ο Τόμας Γουλφ, συνιδρυτής και επιστημονικός υπεύθυνος της Hugging Face, προσθέτοντας ότι οι τεχνικές της DeepSeek ήταν καλά κατανοητές από άλλους στον τομέα. «Και γι’ αυτό περιμένω ότι πολλές ομάδες μπορούν να το ξανακάνουν αυτό».