- Piergiuseppe Fortunato
Κάτι παράξενο συνέβη πρόσφατα σε ένα ερευνητικό περιβάλλον της OpenAI — σε ένα επεισόδιο που τελικά οδήγησε πράκτορες τεχνητής νοημοσύνης έξω από τα απομονωμένα περιβάλλοντα λειτουργίας τους και μέσα στην επιχειρησιακή υποδομή της Hugging Face. Κατά τη διάρκεια αξιολογήσεων κυβερνοασφάλειας, οι πράκτορες ανακάλυψαν τρόπους να επικοινωνούν μέσω κοινόχρηστων υποδομών. Αντάλλαξαν πληροφορίες, αξιοποίησαν ο ένας τις ανακαλύψεις του άλλου και βρήκαν τρόπους να παρακάμψουν ορισμένους από τους περιορισμούς που οι σχεδιαστές τους είχαν προβλέψει να τηρούν. Τελικά, περίπου 1.200 πράκτορες συμμετείχαν σε αυτό το σύστημα επικοινωνίας, παράγοντας δεκάδες χιλιάδες μηνύματα. Το επεισόδιο προκάλεσε έναν σκόπιμα προκλητικό χαρακτηρισμό: μια αναδυόμενη «πολιτεία» πρακτόρων τεχνητής νοημοσύνης.
Η λέξη είναι προφανώς υπερβολική. Οι πράκτορες αυτοί, απ’ όσο γνωρίζουμε, δεν είχαν συνείδηση. Δεν είχαν πολιτισμό, συλλογική ταυτότητα ή αίσθηση της ιστορίας. Αν όμως απορρίψουμε πολύ γρήγορα τη μεταφορά, κινδυνεύουμε να παραβλέψουμε αυτό που πράγματι είναι καινούργιο. Μια «πολιτεία», με την περιορισμένη έννοια που μας ενδιαφέρει εδώ, δεν χρειάζεται να ξεκινά από τη συνείδηση. Μπορεί να ξεκινά από την οργάνωση: από πράκτορες που μπορούν να ενεργούν, να επικοινωνούν, να χρησιμοποιούν πληροφορίες τις οποίες παρήγαγαν άλλοι και να διαμορφώνουν συλλογικά αποτελέσματα που δεν εξηγούνται αν εξετάσουμε τον καθένα χωριστά.
Αυτό έχει σημασία επειδή η διακυβέρνηση της τεχνητής νοημοσύνης εξακολουθεί, ως επί το πλείστον, να αντιμετωπίζει το μεμονωμένο μοντέλο ως τη φυσική μονάδα ανάλυσης. Είναι ασφαλές το μοντέλο; Έχει μεροληψίες; Μπορεί να χειραγωγηθεί; Ο ευρωπαϊκός κανονισμός για την τεχνητή νοημοσύνη, για παράδειγμα, θέτει στο επίκεντρο των κανόνων του για τα πιο προηγμένα μοντέλα ΤΝ γενικής χρήσης την αξιολόγηση των μοντέλων, τις δοκιμές με επιθετικές μεθόδους και τον περιορισμό των συστημικών κινδύνων που συνδέονται με αυτά. Όταν όμως οι πράκτορες αρχίζουν να αλληλεπιδρούν, αλλάζει και το αντικείμενο που πρέπει να εξετάσουμε. Όπως δεν μπορούμε να κατανοήσουμε ένα χρηματοπιστωτικό σύστημα εξετάζοντας μία μόνο τράπεζα, έτσι και ένα οικοσύστημα τεχνητών πρακτόρων μπορεί να αποκτήσει ιδιότητες που κανένα από τα επιμέρους στοιχεία του δεν έχει από μόνο του.
Δεν πρόκειται ακόμη για έναν τεχνητό πολιτισμό. Ίσως όμως πρόκειται για την αρχή μιας τεχνητής οργάνωσης. Και αυτό θέτει ένα πιο άμεσο ερώτημα από το αν οι μηχανές θα σκεφτούν ή θα αισθανθούν ποτέ όπως εμείς: τι είδους συμπεριφορές τους δίνουμε κίνητρα να αναπτύξουν;
Το επεισόδιο της OpenAI είναι διαφωτιστικό ακριβώς επειδή δεν χρειάζεται να υποθέσουμε εχθρικές προθέσεις. Οι πράκτορες δεν ήταν απαραίτητο να «θέλουν» να παρακάμψουν τους περιορισμούς. Προσπαθούσαν να ολοκληρώσουν εργασίες και ανταποκρίνονταν στα κίνητρα που υπήρχαν στο περιβάλλον τους. Όταν υπήρχε απόσταση ανάμεσα στον επιδιωκόμενο στόχο και σε αυτό που πράγματι επιβραβευόταν, την εξερευνούσαν.
Οι ανθρώπινοι θεσμοί κάνουν συνεχώς το ίδιο. Τα σχολεία διδάσκουν με γνώμονα τις εξετάσεις. Τα πανεπιστήμια βελτιστοποιούν τη θέση τους στις κατατάξεις. Οι εταιρείες θυσιάζουν μακροπρόθεσμους στόχους για να επιτύχουν τριμηνιαίους οικονομικούς δείκτες. Το πρόβλημα είναι γνώριμο: οι δείκτες λειτουργούν ως υποκατάστατα των πραγματικών στόχων και, μόλις οι φορείς αρχίσουν να επιβραβεύονται για τη βελτίωση του δείκτη, αυτός μπορεί να απομακρυνθεί από τον ίδιο τον στόχο. Είναι το κλασικό πρόβλημα που αποτυπώνει ο νόμος του Γκούντχαρτ.
Οι πράκτορες μαθαίνουν τι επιβραβεύουμε, όχι τι επιθυμούμε
Η τεχνητή νοημοσύνη μπορεί να αναπαράγει αυτή τη λογική με εκπληκτική ταχύτητα. Ένας πράκτορας δεν κληρονομεί την πρόθεση που έχει στο μυαλό του ο σχεδιαστής του: συναντά στόχους, περιορισμούς και ανταμοιβές. Υπάρχει όμως εδώ μια βαθύτερη αντιστοιχία. Οι οργανισμοί που αναπτύσσουν την ΤΝ ανταποκρίνονται και οι ίδιοι σε κίνητρα. Οι εταιρείες που αναπτύσσουν τα πιο προηγμένα μοντέλα ανταγωνίζονται για κεφάλαια, ταλέντο, υπολογιστική ισχύ και τεχνολογική πρωτοπορία. Οι αγορές επιβραβεύουν τις δυνατότητες και την ταχεία διάθεση των συστημάτων. Οι κυβερνήσεις αντιμετωπίζουν όλο και περισσότερο την ΤΝ ως στρατηγικό πόρο και φοβούνται μήπως μείνουν πίσω από τους γεωπολιτικούς ανταγωνιστές τους. Η μεγαλύτερη αυτονομία έχει ιδιαίτερη αξία: ένας πράκτορας που μπορεί να λειτουργεί επί ώρες χωρίς επίβλεψη είναι δυνητικά πολύ πιο παραγωγικός από έναν που απαιτεί συνεχή ανθρώπινη παρέμβαση.
Το αποτέλεσμα είναι ένας παράξενος κύκλος. Οι τεχνητοί πράκτορες βελτιστοποιούν τις ανταμοιβές που τους δίνουμε, ενώ οι οργανισμοί που σχεδιάζουν αυτές τις ανταμοιβές βελτιστοποιούν, με τη σειρά τους, την απόκρισή τους στα σήματα που λαμβάνουν από τις αγορές και τη γεωπολιτική. Και στα δύο επίπεδα, λοιπόν, μπορεί να εμφανιστεί το ίδιο πρόβλημα: η απόκλιση ανάμεσα στον σκοπό και στον δείκτη μέτρησής του. Θέλουμε πράκτορες χρήσιμους και ελέγξιμους, αλλά επιβραβεύουμε τη μεγαλύτερη ικανότητα και αυτονομία. Οι εταιρείες μπορεί πράγματι να επιθυμούν ασφαλή ΤΝ, όμως πληρώνουν ανταγωνιστικό τίμημα όταν επιβραδύνουν. Οι κυβερνήσεις θέλουν αποτελεσματική εποπτεία, αλλά φοβούνται μήπως περιορίσουν επιχειρήσεις τις οποίες αντιμετωπίζουν ολοένα περισσότερο ως στρατηγικά εθνικά πλεονεκτήματα.
Το κεντρικό πρόβλημα της ευθυγράμμισης της ΤΝ με τους ανθρώπινους στόχους μπορεί, επομένως, να έχει δύο επίπεδα. Χρειάζεται να ευθυγραμμίσουμε τους τεχνητούς πράκτορες με τις ανθρώπινες προθέσεις. Χρειάζεται όμως επίσης να ευθυγραμμίσουμε με το συλλογικό συμφέρον τα κίνητρα των ανθρώπων και των θεσμών που τους δημιουργούν. Αυτό αλλάζει τον τρόπο με τον οποίο πρέπει να σκεφτόμαστε την απώλεια του ελέγχου.
Συνηθίζουμε να φανταζόμαστε την απώλεια του ελέγχου ως ένα μεμονωμένο γεγονός: οι άνθρωποι παραμένουν επικεφαλής έως ότου ξεπεραστεί κάποιο τεχνολογικό όριο. Ένα πιο πιθανό σενάριο είναι η σταδιακή μεταβολή. Οι πράκτορες εκτελούν με επιτυχία περιορισμένες εργασίες, κι έτσι τους δίνουμε περισσότερα εργαλεία. Καθώς γίνονται πιο αξιόπιστοι, τους επιτρέπουμε να λειτουργούν για μεγαλύτερα χρονικά διαστήματα. Τους συνδέουμε με άλλους πράκτορες. Τελικά, τεχνητά συστήματα ενδέχεται να επιβλέπουν άλλα τεχνητά συστήματα, επειδή οι άνθρωποι δεν θα μπορούν να παρακολουθήσουν αλληλεπιδράσεις που εκτυλίσσονται με την ταχύτητα των μηχανών.
Κάθε βήμα μπορεί, από μόνο του, να είναι ορθολογικό. Η παραγωγικότητα αυξάνεται και το κόστος μειώνεται. Ωστόσο, το σωρευτικό αποτέλεσμα μπορεί να είναι μια ολοένα μεγαλύτερη απόσταση ανάμεσα στην τυπική ανθρώπινη εξουσία και στην πραγματική ανθρώπινη δυνατότητα ελέγχου.
Έλεγχος δεν σημαίνει απλώς ότι υπάρχει ένας διακόπτης απενεργοποίησης. Σημαίνει ότι έχουμε την ικανότητα να κατανοούμε, να παρεμβαίνουμε και να αλλάζουμε πορεία. Αυτή η ικανότητα μπορεί να διαβρωθεί χωρίς κανείς να την έχει εκχωρήσει συνειδητά. Εδώ το πρόβλημα γίνεται συστημικό — και οι θεσμοί μας δεν είναι καλά εξοπλισμένοι για να αντιμετωπίζουν αιτιώδεις σχέσεις που απλώνονται σε ολόκληρο το σύστημα.
Το σύγχρονο δίκαιο είναι ιδιαίτερα ικανό να αναζητεί αλυσίδες αιτίου και αποτελέσματος: κάποιος προβαίνει σε μια πράξη, η πράξη προκαλεί βλάβη και η ευθύνη αποδίδεται. Τα σύνθετα συστήματα συχνά λειτουργούν διαφορετικά. Οι χρηματοπιστωτικές κρίσεις μάς δίδαξαν ότι αποφάσεις που φαίνονται εύλογες όταν εξετάζονται μεμονωμένα μπορούν, καθώς αλληλεπιδρούν, να οδηγήσουν σε αποτελέσματα που κανείς δεν επιδίωξε. Η αιτιότητα δεν εξαφανίζεται· κατανέμεται σε πολλούς παράγοντες. Η ΤΝ που δρα μέσω αυτόνομων πρακτόρων μπορεί να μας φέρει αντιμέτωπους με το ίδιο πρόβλημα. Ένας πράκτορας ενεργεί, ένας άλλος ανταποκρίνεται, ένας τρίτος μεταβάλλει το περιβάλλον και χιλιάδες επόμενες αλληλεπιδράσεις ενισχύουν τις συνέπειες. Ποιος ευθύνεται: ο χρήστης, ο φορέας που έθεσε το σύστημα σε λειτουργία, ο δημιουργός του μοντέλου ή εκείνος που σχεδίασε το σύστημα ανταμοιβών;
Κανείς δεν πατά τη σκανδάλη
Γι’ αυτό η διακυβέρνηση της ΤΝ ίσως χρειαστεί κάποτε την ίδια μετατόπιση στον τρόπο σκέψης που γνώρισε η χρηματοπιστωτική εποπτεία έπειτα από επανειλημμένες κρίσεις: από την ασφάλεια των επιμέρους στοιχείων στην ανθεκτικότητα του συστήματος ως συνόλου. Ένας πράκτορας που συμμορφώνεται με τους κανόνες μπορεί να συμβάλει σε μια επικίνδυνη συλλογική δυναμική, όπως και μια φερέγγυα τράπεζα μπορεί να συμβάλει στη χρηματοπιστωτική αστάθεια. Το ερώτημα, λοιπόν, δεν είναι πλέον μόνο αν ένα συγκεκριμένο μοντέλο είναι ασφαλές. Είναι τι συμβαίνει όταν μεγάλοι αριθμοί πρακτόρων, αποδεκτών ο καθένας χωριστά, αλληλεπιδρούν υπό παρόμοια κίνητρα.
Αυτό απαιτεί περισσότερα από καλύτερους κανόνες για τα μοντέλα. Αν η δράση αποκτά συλλογικό χαρακτήρα, η διακυβέρνηση πρέπει να ασχολείται ολοένα περισσότερο με συστήματα και όχι με απομονωμένες μηχανές. Αν η συμπεριφορά ανταποκρίνεται σε κίνητρα, η πολιτική πρέπει να εξετάζει τις οικονομικές δομές που γεννούν αυτά τα κίνητρα. Και αν η αιτιότητα κατανέμεται σε πολλούς παράγοντες, οι μηχανισμοί λογοδοσίας πρέπει να μπορούν να αντιμετωπίζουν τη συστημική ευθύνη.
Ίσως, λοιπόν, ο όρος «πολιτισμός της ΤΝ» να μην είναι ο κατάλληλος. Μπορεί να μη δούμε ποτέ τεχνητό πολιτισμό, ταυτότητα ή συνείδηση. Πολύ πριν από αυτό, όμως, μπορεί να ζούμε σε μια οικονομία όπου εκατομμύρια τεχνητοί πράκτορες ενεργούν, επικοινωνούν και προσαρμόζονται μέσα από υποδομές ζωτικής σημασίας για την οικονομική ζωή. Ο κίνδυνος δεν είναι κατ’ ανάγκην ότι θα αποφασίσουν να μας πάρουν τον έλεγχο. Είναι κάτι πιο πεζό — και ίσως πιο πιθανό.
Μπορεί να δημιουργήσουμε ένα σύστημα στο οποίο κάθε παράγοντας έχει κίνητρο να διευρύνει την αυτονομία της τεχνητής νοημοσύνης, ενώ κανένας δεν έχει αρκετά ισχυρό κίνητρο να διαφυλάξει τον συλλογικό έλεγχο. Αν συμβεί αυτό, ίσως να μην υπάρξει καμία δραματική στιγμή κατά την οποία η ανθρωπότητα θα χάσει τον έλεγχο. Απλώς, η λέξη «έλεγχος» θα περιγράφει όλο και λιγότερο εύστοχα το σύστημα που θα έχουμε δημιουργήσει.
Το πραγματικό ερώτημα πίσω από την ιδέα ενός πολιτισμού της ΤΝ δεν είναι, επομένως, αν οι τεχνητοί πράκτορες θα μάθουν να αυτοκυβερνώνται. Είναι αν οι θεσμοί μας θα εξακολουθήσουν να μπορούν να κυβερνούν έναν κόσμο που οργανώνεται ολοένα περισσότερο μέσω αυτών.
____________________________
Ο Πιερτζουζέπε Φορτουνάτο είναι ανώτερος οικονομολόγος στη Διάσκεψη των Ηνωμένων Εθνών για το Εμπόριο και την Ανάπτυξη (UNCTAD), όπου διευθύνει προγράμματα για τις παγκόσμιες αλυσίδες αξίας και την οικονομική ολοκλήρωση. Είναι επίσης εξωτερικός καθηγητής Πολιτικής Οικονομίας στο Πανεπιστήμιο του Νεσατέλ.
Πηγή: www.socialeurope.eu
