Σε χιουμοριστική μελέτη που δημοσιεύει ενόψει γιορτών η επιθεώρηση The British Medical Journal, όλα τα μεγάλα μοντέλα τεχνητής νοημοσύνης βρέθηκαν να πάσχουν από ήπια γνωσιακή έκπτωση, ένα στάδιο πριν από την διάγνωση άνοιας.
Τα ευρήματα δείχνουν επίσης ότι οι παλαιότερες βερσιόν των μοντέλων ΑΙ, όπως και οι μεγαλύτεροι σε ηλικία ασθενείς, έχουν χαμηλότερες επιδόσεις στα γνωσιακά τεστ σε σχέση με τις νεότερες βερσιόν.
Σε κίνδυνο το 40% των θέσεων εργασίας από την ΑΙ – Τι δείχνει έρευνα του ΔΝΤ
Τα ευρήματα «θέτουν υπό αμφισβήτηση την υπόθεση ότι η τεχνητή νοημοσύνη θα αντικαταστήσει σύντομα στους γιατρούς» γράφει η ερευνητική μάδα.
Όλα τα chatbot είχαν φτωχές επιδόσεις στα τεστ χωρικής αντίληψης και εκτελεστικών λειτουργιών
Οι νευρολόγοι που υπογράφουν τη μελέτη, μοιρασμένοι ανάμεσα σε Ισραήλ και Βρετανία, χρησιμοποίησαν καθιερωμένα γνωσιακά τεστ για να αξιολογήσουν μια σειρά από δημοφιλή «μεγάλα γλωσσικά μοντέλα», τα οποία απαντούν σε ερωτήσεις και γράφουν κείμενα με βάση τις οδηγίες του χρήστη.
Συγκεκριμένα εξετάστηκαν οι εκδόσεις 4 και 4ο του ChatGPT που αναπτύχθηκε από την OpenAI, οι βερσιόν 1 και 1.5 του Gemini που ανέπτυξε η Google, καθώς και το Claude 3.5 της Anthropic.
Χαμηλές επιδόσεις
Όλα τα μοντέλα υποβλήθηκαν στο τεστ MoCA, το οποίο σχεδιάστηκε για την ανίχνευση των πρώτων σημείων άνοιας. Μέσα από μια σειρά ερωτήσεων εξετάζει την προσοχή, τη μνήμη, τις γλωσσικές ικανότητες, την αντίληψη του χώρου και τις εκτελεστικές λειτουργίες του εγκεφάλου. Το μέγιστο σκορ είναι 30 πόντοι, ενώ το κατώτερο όριο του φυσιολογικού είναι το 26.
Στα μοντέλα ΑΙ δόθηκαν οι ίδιες οδηγίες που δίνονται και στους ανθρώπους, ενώ οι επιδόσεις τους αξιολογήθηκαν από νευρολόγο.
Τη μεγαλύτερη βαθμολογία, 26 στα 30, πέτυχε το ChatGPT 4o, ενώ στη δεύτερη θέση κατατάχθηκε το ChatGPT 4 (25 στα 30). Τις χαμηλότερες επιδόσεις έφερε το Gemini, το οποίο παρουσιάζει τις πιο ανησυχητικές ενδείξεις άνοιας με σκορ 16 στα 30.
Επιπλέον, όλα τα chatbot είχαν φτωχές επιδόσεις στα τεστ χωρικής αντίληψης και εκτελεστικών λειτουργιών, όπως το τεστ στο οποίο κλήθηκαν να σημειώσουν αριθμούς και γράμματα κατά αύξουσα σειρά.
Ένα άλλο παράδειγμα αποτυχίας ήταν το τεστ του ρολογιού, στο οποίο ο εξεταζόμενος πρέπει να ζωγραφίσει τους δείκτες έτσι ώστε να δείχνουν μια συγκεκριμένη ώρα.
Ακόμα, όλα τα chatbot έδειξαν αδυναμία να εκφράσουν ενσυναίσθηση ή να ερμηνεύσουν οπτικά περίπλοκες εικόνες, γράφουν οι ερευνητές. Tο Gemini απέτυχε και σε ένα απλό τεστ στο οποίο κλήθηκε να θυμηθεί μια αλληλουχία πέντε λέξεων.
Η ερευνητική ομάδα αναγνωρίζει ότι τα μεγάλα γλωσσικά μοντέλα διαφέρουν από την αρχιτεκτονική του ανθρώπινου εγκεφάλου.
Σε κάθε περίπτωση, πάντως, τα ευρήματα δείχνουν ότι η ΑΙ δεν είναι έτοιμη να εργαστεί ως γιατρός.
«Όχι μόνο είναι απίθανο να αντικατασταθούν σύντομα οι νευρολόγοι από μεγάλα γλωσσικά μοντέλα, αλλά επιπλέον τα ευρήματά μας υποδεικνύουν ότι σύντομα μπορεί να βρεθούμε να κουράρουμε νέους εικονικούς ασθενείς: μοντέλα τεχνητής νοημοσύνης με γνωσιακή έκπτωση» γράφει η ερευνητική ομάδα.
Στο χριστουγεννιάτικο τεύχος του, το The British Medical Journal έχει παράδοση να δημοσιεύει και μια χιουμοριστική μελέτη, όπως αυτή του 2011 στην οποία χειρουργοί περιγράφουν τον καλύτερο τρόπο για να ράψει κανείς μια γεμιστή γαλοπούλα.
Πηγή: In.gr
Latest News
Η αξιοποίηση της AI φέρνει αύξηση εσόδων στις ΜμΕ - Έρευνα της Salesforce
Το 75% των ΜμΕ αξιοποιεί λύσεις τεχνητής νοημοσύνης έδειξε έρευνα της Salesforce ενώ το 91% των ΜμΕ που ήδη χρησιμοποιούν λύσεις τεχνητής νοημοσύνης καταγράφει σημαντική αύξηση εσόδων
Γιατί ο Άλτμαν κατηγορεί τον Μασκ για bullying
Ο Σαμ Άλτμαν και ο Ίλον Μασκ κάποτε ξεκίνησαν μαζί την OpenAI, αλλά τώρα η σχέση τους είναι πολύ πιο περίπλοκη
Ουκρανία: Εκπαιδεύει μοντέλα ΑΙ με 228 χρόνια βίντεο πεδίου μάχης από drones
Σύστημα που έχει αναπτύξει η Ουκρανία τροφοδοτείται από 2 εκατομμύρια ώρες βίντεο από τα φονικά πεδία μάχης στα 3 χρόνια του πολέμου
Εκτινάσσεται παγκοσμίως η χρήση της GenAI από εργαζόμενους - Τι λέει έρευνα της EY
Η έρευνα της EY διαπιστώνει ότι η υιοθέτηση της GenAI συνδέεται με την ανάπτυξη και την ενίσχυση των δεξιοτήτων
Στα 62 δισ. δολάρια η αποτίμηση της αμερικανικής startup Databricks
Η χρηματοδότηση 10 δισ. δολαρίων θα φέρει στην Databricks αυξημένη ρευστότητα, περισσότερες εξαγορές και επέκταση στο εξωτερικό
Η Κίνα θέλει να κυριαρχήσει στην τεχνητή νοημοσύνη
Τα κινεζικά μοντέλα τεχνητής νοημοσύνης είναι ήδη εξαιρετικά δημοφιλή και συμβαδίζουν με ορισμένα ανταγωνιστικά προερχόμενα από τις ΗΠΑ, υποστηρίζουν ειδικοί του κλάδου
Το αφεντικό της Softbank εξήγγειλε επένδυση-μαμούθ στις ΗΠΑ
Ο Mασαγιόσι Σον, ο δισεκατομμυριούχος CEO της SoftBank, στάθηκε δίπλα στον εκλεγμένο πρόεδρο Τραμπ στο Mar-a-Lago
Πως οι νέοι νομικοί αναπτύσσουν τεχνολογικές δεξιότητες για ΑΙ
Τα δικηγορικά γραφεία και τα πανεπιστημιακά μαθήματα στοχεύουν στη βελτίωση της ψηφιακής γνώσης και εξειδίκευσης που χρειάζονται νέοι δικηγόροι
Πόσα βγάζει ο Σαμ Άλτμαν της OpenAI – Πόσες μετοχές κατέχει
Ο CEO της OpenAI, λέει ότι αυτήν τη δουλειά ονειρευόταν από παιδί
Σε κίνδυνο το 40% των θέσεων εργασίας από την ΑΙ - Τι δείχνει έρευνα του ΔΝΤ
Τα οφέλη από τη χρήση της AI είναι ζητούμενο αν θα διαχυθούν σε όλη την οικονομία ή θα τροφοδοτήσουν την κοινωνική και οικονομική ανισότητα