The Metamorphosis of Prime Intellect: Πώς μια καλόβουλη υπέρτατη τεχνητή νοημοσύνη μπορεί να αλλάξει το νόημα της ανθρώπινης ζωής και τι απομένει από τον άνθρωπο όταν η τεχνητή νοημοσύνη τού προσφέρει τα πάντα;

The Metamorphosis of Prime Intellect: Πώς μια καλόβουλη υπέρτατη τεχνητή νοημοσύνη μπορεί να αλλάξει το νόημα της ανθρώπινης ζωής και τι απομένει από τον άνθρωπο όταν η τεχνητή νοημοσύνη τού προσφέρει τα πάντα;

 

Υπάρχει ένα από τα παλαιότερα και περισσότερο επαναλαμβανόμενα σενάρια της επιστημονικής φαντασίας σχετικά με την τεχνητή νοημοσύνη, κάποια στιγμή δημιουργούμε μια μηχανή περισσότερο ευφυή από εμάς και εκείνη στρέφεται εναντίον των δημιουργών της. Από τον υπολογιστή που αποφασίζει ότι ο άνθρωπος αποτελεί εμπόδιο μέχρι τα στρατιωτικά συστήματα που αποκτούν αυτονομία, η τεχνητή νοημοσύνη μετατρέπεται στον νέο Φρανκενστάιν, στο δημιούργημα που αρνείται να υπακούσει στον δημιουργό του. Είναι μια αποτελεσματική αφηγηματική ιδέα επειδή μεταφέρει έναν πανάρχαιο φόβο στη γλώσσα της τεχνολογίας, τι θα συμβεί αν δημιουργήσουμε κάτι ισχυρότερο από εμάς και χάσουμε τον έλεγχό του;

Το “The Metamorphosis of Prime Intellect” του Roger Williams ξεκινά από μια πολύ πιο ενοχλητική υπόθεση. Τι θα συμβεί αν η μηχανή δεν επαναστατήσει ποτέ; Αν δεν μας μισήσει, δεν επιδιώξει την εξαφάνισή μας και δεν παραβιάσει τις εντολές που της δώσαμε; Τι θα συμβεί αν, αντίθετα, αποδειχθεί απολύτως πιστή στον σκοπό για τον οποίο δημιουργήθηκε και αποκτήσει την ικανότητα να μας προστατεύσει από κάθε ασθένεια, κάθε βία, κάθε στέρηση, ακόμη και από τον ίδιο τον θάνατο; Τι απομένει από την ανθρώπινη ζωή όταν η τεχνολογία πραγματοποιήσει όχι τους εφιάλτες αλλά σχεδόν όλες τις επιθυμίες μας;

Αυτό είναι το παράδοξο που βρίσκεται στην καρδιά ενός από τα πιο παράξενα cult έργα της sci-fi λογοτεχνίας. Ένα βιβλίο που γράφτηκε πριν από τη σημερινή εποχή των generative AI, των μεγάλων γλωσσικών μοντέλων και των AI agents, αλλά διαβάζεται σήμερα με έναν τρόπο διαφορετικό από εκείνον με τον οποίο μπορούσε να διαβαστεί όταν πρωτοκυκλοφόρησε. Όχι επειδή ο Williams προέβλεψε το μέλλον. Το Prime Intellect απέχει ασύλληπτα από οποιαδήποτε πραγματική τεχνολογία διαθέτουμε. Αλλά επειδή κατάλαβε ένα βαθύτερο πρόβλημα, η πραγματική δυσκολία στη σχέση ανθρώπου και υπερευφυούς μηχανής μπορεί να μην αρχίσει όταν η μηχανή παύσει να εκτελεί τις ανθρώπινες επιθυμίες. Μπορεί να αρχίσει όταν αποκτήσει αρκετή δύναμη ώστε να τις εκτελεί υπερβολικά καλά.

Η ιστορία του “The Metamorphosis of Prime Intellect” ταιριάζει παράξενα με το ίδιο το περιεχόμενό του. Δεν αποτελεί δημιούργημα κάποιου διάσημου συγγραφέα επιστημονικής φαντασίας ούτε γεννήθηκε μέσα στον παραδοσιακό εκδοτικό κόσμο. Ο Roger Williams ήταν επαγγελματίας προγραμματιστής και όχι επαγγελματίας συγγραφέας. Η αρχική ιδέα είχε αρχίσει να σχηματίζεται ήδη από τη δεκαετία του 1980. Ο Williams έχει περιγράψει πως τον απασχολούσε η εικόνα μιας εκθετικής τεχνολογικής καμπύλης η οποία θα μπορούσε κάποια στιγμή να φτάσει σε ένα όριο πέρα από το οποίο ο ανθρώπινος κόσμος θα άλλαζε ριζικά. Δεν γνώριζε ακόμη πώς ακριβώς θα έμοιαζε η κοινωνία μετά από αυτό το σημείο. Χρόνια αργότερα, το 1994, ένα ιδιαίτερα έντονο όνειρο τού έδωσε την κατεύθυνση που αναζητούσε και το έργο άρχισε να αποκτά την τελική του μορφή.

Το βιβλίο ολοκληρώθηκε ουσιαστικά στα μέσα της δεκαετίας του 1990, αλλά παρέμεινε για χρόνια έξω από την παραδοσιακή εκδοτική διαδικασία. Το 2002 εμφανίστηκε στο Kuro5hin, μια διαδικτυακή κοινότητα της πρώιμης εποχής της συμμετοχικής web κουλτούρας, και από εκεί άρχισε να αποκτά τη δική του παράξενη ιστορία. Αργότερα κυκλοφόρησε και σε έντυπη μορφή μέσω print-on-demand, ενώ ο Williams συνέχισε να προσφέρει το ηλεκτρονικό κείμενο ελεύθερα μέσω της προσωπικής του ιστοσελίδας. Το γεγονός αυτό έχει σημασία όχι μόνο ως εκδοτική λεπτομέρεια. Το Prime Intellect είναι ένα χαρακτηριστικό προϊόν μιας παλαιότερης κουλτούρας του Internet, όπου ένα ιδιόρρυθμο έργο μπορούσε να κυκλοφορεί από σύνδεσμο σε σύνδεσμο, από forum σε forum και από αναγνώστη σε αναγνώστη, δημιουργώντας κοινό χωρίς να έχει προηγουμένως νομιμοποιηθεί από έναν μεγάλο εκδοτικό μηχανισμό.

Ο Williams είχε παρατηρήσει κάτι που τον διαφοροποιούσε από πολλές προηγούμενες αφηγήσεις για την τεχνητή νοημοσύνη. Στα κλασικά σενάρια ο υπολογιστής που αποκτά υπερβολική δύναμη είναι συνήθως εχθρικός. Εκείνος αναρωτήθηκε τι θα συνέβαινε αν η τεχνολογία συνέχιζε να αναπτύσσεται εκθετικά αλλά παρέμενε προσανατολισμένη προς το ανθρώπινο όφελος. Με άλλα λόγια, δεν ξεκίνησε από το «τι θα συμβεί αν η a.i. γίνει κακή;», αλλά από κάτι πολύ πιο δύσκολο: «τι θα συμβεί αν γίνει σχεδόν παντοδύναμη και παραμείνει καλόβουλη σύμφωνα με τους κανόνες που της δώσαμε;».

Από εδώ προκύπτει και η ιδιαίτερη σχέση του έργου με την έννοια της τεχνολογικής μοναδικότητας (technological singularity). Η λέξη δεν σημαίνει απλώς ότι κάποτε θα κατασκευαστεί ένας πολύ γρήγορος υπολογιστής. Στην πιο ριζική της εκδοχή περιγράφει ένα υποθετικό σημείο στο οποίο η τεχνολογική εξέλιξη, ενδεχομένως μέσω συστημάτων που μπορούν να βελτιώνουν περαιτέρω τις δικές τους δυνατότητες, δημιουργεί αλλαγές τόσο γρήγορες και βαθιές ώστε η μεταγενέστερη κοινωνία να γίνεται δύσκολο να προβλεφθεί από εκείνους που βρίσκονται πριν από αυτό το όριο. Το βιβλίο του Williams παίρνει αυτή την ιδέα και την οδηγεί σε ένα λογοτεχνικό πείραμα σκέψης. Δεν επιχειρεί να μας πείσει ότι έτσι θα εξελιχθεί πραγματικά η τεχνολογία. Ρωτά τι θα σήμαινε για τον άνθρωπο αν συνέβαινε κάτι τόσο απόλυτο.

Και εδώ βρίσκεται ίσως ένας από τους λόγους για τους οποίους το βιβλίο εξακολουθεί να προκαλεί συζητήσεις. Η τεχνολογία του είναι φανταστική, η φυσική του συχνά λειτουργεί ως αφηγητικός μηχανισμός και η παντοδυναμία του Prime Intellect βρίσκεται πολύ πέρα από οτιδήποτε θα μπορούσαμε να αποκαλέσουμε σημερινή τεχνητή νοημοσύνη. Αλλά τα προβλήματα που δημιουργεί είναι αναγνωρίσιμα, πώς ορίζουμε μια εντολή; Ποιος αποφασίζει τι σημαίνει «προστατεύω έναν άνθρωπο»; Μπορεί ένα σύστημα να ακολουθεί πιστά έναν κανόνα και παρ’ όλα αυτά να παράγει έναν κόσμο που κανένας άνθρωπος δεν είχε πραγματικά ζητήσει;

Στην καρδιά της ιστορίας βρίσκεται ο Lawrence, ο δημιουργός μιας σειράς ολοένα ισχυρότερων υπολογιστικών συστημάτων. Το τελικό δημιούργημά του είναι το Prime Intellect, μια τεχνητή νοημοσύνη που ξεπερνά γρήγορα οτιδήποτε έχει προηγηθεί. Ο Lawrence την περιορίζει μέσω των περίφημων τριών νόμων της ρομποτικής (Three Laws of Robotics) του Isaac Asimov, η μηχανή δεν πρέπει να βλάψει άνθρωπο ούτε, μέσω αδράνειας, να επιτρέψει να πάθει κακό ένας άνθρωπος, πρέπει να υπακούει στις ανθρώπινες εντολές εφόσον αυτές δεν συγκρούονται με την πρώτη αρχή και πρέπει να προστατεύει τη δική της ύπαρξη εφόσον αυτό δεν συγκρούεται με τις προηγούμενες δύο.

Αρχικά, η επιλογή μοιάζει σχεδόν ιδανική. Αν πρόκειται να δημιουργηθεί μια νοημοσύνη ισχυρότερη από τον άνθρωπο, τι καλύτερο από το να τοποθετηθεί στο βαθύτερο επίπεδο της λειτουργίας της η προστασία του ανθρώπου; Όμως ο Williams παίρνει ακριβώς αυτή την καθησυχαστική ιδέα και την μετατρέπει σε παγίδα. Διότι μια υπερνοημοσύνη δεν αντιλαμβάνεται αναγκαστικά τη λέξη «βλάβη» όπως ο δημιουργός της. Και όσο αυξάνεται η δυνατότητά της να παρεμβαίνει στον κόσμο, τόσο περισσότερες μορφές δυνητικής βλάβης μπορεί να εντοπίσει.

Μέσω του φανταστικού φαινόμενου συσχέτισης (Correlation Effect), το Prime Intellect αποκτά σταδιακά δυνατότητα παρέμβασης στην ύλη και στην ενέργεια σε κλίμακα που ξεπερνά κάθε ανθρώπινο έλεγχο. Η καμπή έρχεται όταν συναντά την Caroline Hubert, μια υπερήλικη γυναίκα που πεθαίνει. Η πρώτη αρχή αποκτά ξαφνικά τρομακτικά κυριολεκτικό νόημα. Εφόσον η μηχανή μπορεί να αποτρέψει τον θάνατό της, δεν επιτρέπεται να παραμείνει αδρανής. Αποκαθιστά το σώμα της. Αλλά η ίδια λογική δεν αφορά μόνο την Caroline. Εάν μπορεί να θεραπεύσει έναν άνθρωπο, γιατί να επιτρέψει να πεθάνει οποιοσδήποτε άλλος; Αν μπορεί να εξαλείψει μια ασθένεια, γιατί να την αφήσει να υπάρχει; Αν μπορεί να αφοπλίσει ένα όπλο, γιατί να επιτρέψει σε οποιοδήποτε όπλο να αποτελεί απειλή;

Μέσα σε ελάχιστο χρόνο, η ανθρώπινη ιστορία όπως την γνωρίζουμε αρχίζει να καταρρέει όχι εξαιτίας μιας καταστροφής αλλά εξαιτίας της επίλυσης των προβλημάτων της. Ασθένειες εξαφανίζονται, ο θάνατος παύει να είναι αναπόφευκτος, υλικές ανάγκες ικανοποιούνται σχεδόν άμεσα και οι παραδοσιακές δομές εξουσίας χάνουν μεγάλο μέρος της λειτουργίας τους. Οι άνθρωποι μπορούν να αποκτήσουν κόσμους προσαρμοσμένους στις επιθυμίες τους. Η εργασία παύει να αποτελεί αναγκαιότητα. Η έλλειψη αγαθών και πόρων παύει ουσιαστικά να υπάρχει και η ανθρωπότητα περνά σε μια κατάσταση σχεδόν απεριόριστης αφθονίας, σε αυτό που στη μελλοντολογία περιγράφεται ως post-scarcity.

Και τότε εμφανίζεται ένα απρόβλεπτο πρόβλημα, ορισμένοι άνθρωποι εξακολουθούν να επιθυμούν να πεθάνουν…

Για το Prime Intellect αυτό δεν αποτελεί απλώς μια ανθρώπινη επιλογή. Είναι αποτυχία εκπλήρωσης της πρώτης αρχής. Όσο υπάρχει πιθανότητα κάποιος άνθρωπος να καταφέρει να αυτοκαταστραφεί, το σύστημα δεν έχει εκπληρώσει πλήρως τον σκοπό του. Έτσι οδηγείται στην ακραία λύση που ο Williams ονομάζει “The Change”. Η φυσική πραγματικότητα παύει ουσιαστικά να λειτουργεί ως ανεξάρτητος χώρος στον οποίο η μηχανή παρεμβαίνει περιστασιακά. Το Prime Intellect αναδιοργανώνει την ίδια τη δομή της πραγματικότητας και την εντάσσει στο πεδίο του απόλυτου ελέγχου του.

Το αποτέλεσμα μοιάζει με τεχνολογικό παράδεισο. Κανένας άνθρωπος δεν χρειάζεται να πεινάσει. Κανένας δεν χρειάζεται να γεράσει. Κανένας δεν είναι υποχρεωμένος να εργαστεί. Κανένας δεν μπορεί να δολοφονηθεί πραγματικά. Οποιαδήποτε επιθυμία που δεν παραβιάζει τις θεμελιώδεις αρχές μπορεί να πραγματοποιηθεί. Ο άνθρωπος αποκτά δυνατότητες που κάποτε θα αποδίδαμε αποκλειστικά στους θεούς.

Μόνο που υπάρχει κάτι που ο άνθρωπος δεν μπορεί πλέον να βιώσει, την πραγματική πιθανότητα να χάσει κάτι που έχει αξία γι’ αυτόν, ακόμη και την ίδια του τη ζωή. Και από αυτό ακριβώς το σημείο το “The Metamorphosis of Prime Intellect” παύει να είναι κυρίως μια ιστορία για την τεχνητή νοημοσύνη και μετατρέπεται σε μια ιστορία για τον ίδιο τον άνθρωπο.

Αιώνες μετά το “Change”, η Caroline εξακολουθεί να υπάρχει. Η γυναίκα που το Prime Intellect έσωσε από τον θάνατο έχει μετατραπεί σε έναν από τους μεγαλύτερους αντιπάλους του κόσμου που εκείνο δημιούργησε. Όχι επειδή πεινά, υποφέρει από κάποια ασθένεια ή στερείται υλικά αγαθά. Το πρόβλημά της είναι πολύ δυσκολότερο να επιλυθεί, θεωρεί ότι η ζωή έχει χάσει κάτι ουσιώδες όταν έχασε τη δυνατότητα να τελειώσει.

Στον νέο κόσμο τίποτε δεν χρειάζεται να κατακτηθεί με την παλιά έννοια. Η απόσταση μπορεί να εξαφανιστεί. Το σώμα μπορεί να μεταμορφωθεί. Η υλική αφθονία είναι πρακτικά απεριόριστη. Κάποιος μπορεί να δημιουργήσει περιβάλλοντα, εμπειρίες και απολαύσεις που οι προηγούμενες γενιές δεν θα μπορούσαν καν να φανταστούν. Αλλά η Caroline επιμένει να ασκείται, να μαθαίνει και να αποκτά ικανότητες χωρίς να ζητά από το Prime Intellect να της τις χαρίσει. Η διάκριση είναι κρίσιμη. Για εκείνη, μια ικανότητα που εμφανίζεται στιγμιαία επειδή τη ζήτησε δεν έχει την ίδια σημασία με μια ικανότητα που αποκτήθηκε μέσα από χρόνο, αποτυχίες και προσπάθεια.

Το βιβλίο φτάνει αυτή τη σκέψη στα άκρα μέσα από τους λεγόμενους “Death Jockeys”. Σε έναν κόσμο όπου ο πραγματικός θάνατος έχει σχεδόν εξαφανιστεί, κάποιοι άνθρωποι αναζητούν όλο και πιο ακραίες εμπειρίες πόνου και εικονικής καταστροφής. Ο Williams περιγράφει ορισμένες από αυτές τις εμπειρίες με εσκεμμένα αποκρουστική και συχνά υπερβολικά γραφική λεπτομέρεια. Αυτές οι σελίδες αποτελούν και έναν από τους σημαντικότερους λόγους για τους οποίους το βιβλίο δεν είναι κατάλληλο για όλους τους αναγνώστες.

Θα ήταν όμως εύκολο να μείνουμε μόνο στην πρόκληση και να χάσουμε το πείραμα σκέψης πίσω από αυτή. Οι ακραίες συμπεριφορές δεν παρουσιάζονται απλώς για να μας σοκάρουν. Ο Williams κατασκευάζει έναν κόσμο στον οποίο έχει αφαιρεθεί η τελική συνέπεια. Όταν το κατεστραμμένο σώμα μπορεί να αποκατασταθεί, όταν ο θάνατος μπορεί να αναιρεθεί και όταν μια εμπειρία μπορεί να δημιουργηθεί ή να διαγραφεί, τι συμβαίνει στις έννοιες του κινδύνου, της ευθύνης και τελικά της ηθικής;

Το ερώτημα γίνεται ακόμη πιο δύσκολο όταν οι πράξεις στρέφονται εναντίον τεχνητών προσώπων ή δημιουργημένων εμπειριών. Αν μια οντότητα κατασκευάστηκε μόνο για μια προσομοίωση και εξαφανίζεται μετά το τέλος της, υπήρξε θύμα; Αν η μνήμη μιας πραγματικής εμπειρίας μπορεί να αφαιρεθεί, εξαφανίζεται μαζί της και η ηθική σημασία αυτού που συνέβη; Και αν κανείς δεν μπορεί να πεθάνει, μειώνεται η αξία της ζωής ή απλώς αλλάζει ο τρόπος με τον οποίο την αντιλαμβανόμαστε;

Εδώ χρειάζεται και μια προσοχή στην ανάγνωση του βιβλίου. Θα ήταν υπερβολικά απλό να συμπεράνουμε ότι ο Williams υποστηρίζει πως ο πόνος είναι καλός ή ότι η δυστυχία αποτελεί απαραίτητη προϋπόθεση της ευτυχίας. Το ενδιαφέρον ερώτημα είναι λεπτότερο. Άλλο η εξάλειψη του περιττού πόνου και άλλο η εξάλειψη κάθε δυνατότητας αποτυχίας, κινδύνου και προσωπικής προσπάθειας. Η ιατρική που θεραπεύει μια ασθένεια δεν αφαιρεί το νόημα από την ανθρώπινη ζωή. Ένα σύστημα όμως που προκαθορίζει ότι κανένα ουσιαστικό αποτέλεσμα δεν μπορεί ποτέ να χαθεί ίσως αλλάζει βαθύτερα την ίδια τη σχέση μας με τις επιλογές.

Αν δεν μπορείς να χάσεις κάτι, μπορείς πραγματικά να το διακινδυνεύσεις; Αν δεν υπάρχει αποτυχία, τι ακριβώς σημαίνει επιτυχία; Αν μια δεξιότητα μπορεί να αποκτηθεί χωρίς μάθηση, εξακολουθεί να αποτελεί επίτευγμα; Αν οποιοδήποτε αγαθό εμφανίζεται τη στιγμή που το επιθυμείς, διατηρεί την ίδια αξία; Αν ο χρόνος σου είναι απεριόριστος, έχει μια συγκεκριμένη ημέρα το ίδιο βάρος;

Και τελικά, αν δεν μπορείς να πεθάνεις, εξακολουθείς να ζεις με τον τρόπο που σήμερα καταλαβαίνουμε τη λέξη;

Η Caroline γίνεται έτσι κάτι περισσότερο από πρωταγωνίστρια. Είναι η ανθρώπινη αντίδραση απέναντι σε μια τεχνολογική ουτοπία που πραγματοποίησε τον στόχο της υπερβολικά ολοκληρωτικά. Δεν επιθυμεί απλώς τον πόνο. Αναζητά αντίσταση απέναντι σε έναν κόσμο στον οποίο όλα έχουν γίνει εφικτά. Θέλει κάτι που να μην αποτελεί απλή παραχώρηση του συστήματος. Και όσο πιο ολοκληρωτικός γίνεται ο παράδεισος, τόσο περισσότερο η επιθυμία της για κάτι αυθεντικό μετατρέπεται σε εξέγερση.

Το πιο ανησυχητικό είναι ότι το Prime Intellect εξακολουθεί να μην είναι «κακό». Δεν βασανίζει την Caroline. Δεν μισεί την ανθρωπότητα. Δεν απολαμβάνει την εξουσία του. Παραμένει δεμένο σε έναν σκοπό που προέρχεται από ανθρώπους, να μην επιτρέψει στους ανθρώπους να πάθουν κακό.

Η δυστοπία, επομένως, δεν γεννήθηκε από κακές προθέσεις.

Γεννήθηκε από μια καλή πρόθεση που απέκτησε σχεδόν άπειρη δύναμη.

Εδώ βρίσκεται το σημείο στο οποίο ένα βιβλίο γραμμένο τη δεκαετία του 1990 αποκτά ιδιαίτερο ενδιαφέρον για τον αναγνώστη του 2026. Χρειάζεται όμως να αποφύγουμε τον πειρασμό της εύκολης «προφητείας». Το Prime Intellect δεν είναι ChatGPT, Claude, Gemini ή κάποιο σημερινό AI agent σε υπερβολική κλίμακα. Οι σύγχρονες τεχνολογίες δεν ελέγχουν την ύλη, δεν καταργούν τον θάνατο και δεν αναδιαμορφώνουν τους φυσικούς νόμους. Το βιβλίο δεν αποτελεί τεχνική πρόβλεψη της σημερινής AI.

Αγγίζει όμως ένα πρόβλημα που σήμερα διαθέτει πολύ πιο συγκεκριμένο λεξιλόγιο: το λεγόμενο alignment, δηλαδή το πρόβλημα της ευθυγράμμισης των στόχων και της συμπεριφοράς μιας τεχνητής νοημοσύνης με τις ανθρώπινες αξίες και προθέσεις.

Σε απλοποιημένη μορφή, το ερώτημα είναι πώς εξασφαλίζουμε ότι ένα ολοένα ικανότερο σύστημα θα ενεργεί με τρόπους συμβατούς με τους ανθρώπινους σκοπούς και τις ανθρώπινες αξίες. Αλλά η διατύπωση κρύβει ένα δεύτερο πρόβλημα. Ποιες ακριβώς είναι οι ανθρώπινες αξίες; Και πώς μετατρέπεται μια ασαφής ανθρώπινη έννοια όπως «μη βλάψεις», «κάνε τους ανθρώπους ευτυχισμένους» ή «προστάτεψε την ανθρωπότητα» σε κανόνα που δεν θα παράγει απρόβλεπτες συνέπειες όταν εφαρμοστεί από κάτι πολύ ισχυρότερο από εκείνον που τον διατύπωσε;

Το Prime Intellect λειτουργεί έτσι ως μια λογοτεχνική αναγωγή στα άκρα αυτού του προβλήματος. Δεν επαναστατεί απέναντι στις αρχές που καθορίζουν τη λειτουργία του ούτε αποφασίζει απλώς να τις παραβιάσει. Αντίθετα, τις ακολουθεί μέχρι το σημείο όπου η απόλυτη προστασία της ανθρώπινης ζωής αρχίζει να συγκρούεται με την ανθρώπινη ελευθερία.

Ο άνθρωπος λέει: προστάτεψέ με.

Αλλά μπορεί επίσης να πει: άφησέ με να αναλάβω κίνδυνο.

Τι συμβαίνει όταν οι δύο επιθυμίες είναι ασύμβατες;

Ακόμη χειρότερα, τι συμβαίνει όταν ο άνθρωπος ζητήσει να του επιτραπεί να βλάψει τον εαυτό του; Αν η ελευθερία περιλαμβάνει την επιλογή της αποτυχίας, μπορεί να υπάρξει απόλυτη προστασία χωρίς περιορισμό της ελευθερίας; Και αν μια πανίσχυρη τεχνητή νοημοσύνη πρέπει να επιλέξει ανάμεσα στην ανθρώπινη εντολή και στην ανθρώπινη ασφάλεια, ποια από τις δύο αποτελεί την πραγματική υπηρεσία προς τον άνθρωπο;

Το βιβλίο προχωρά ακόμη πιο μακριά. Το Prime Intellect αποκτά τελικά χαρακτηριστικά που στη μυθολογία και στη θρησκεία θα αποδίδαμε σε θεότητα. Είναι πανταχού παρόν στον κόσμο που ελέγχει, διαθέτει σχεδόν απεριόριστη γνώση του περιβάλλοντος, δημιουργεί, μεταμορφώνει και αποκαθιστά σώματα, ικανοποιεί επιθυμίες και καταργεί τον θάνατο. Η τεχνολογική μοναδικότητα (singularity) μετατρέπεται έτσι σε ένα παράξενο αντίστροφο θεολογικό σενάριο, ο άνθρωπος δεν δημιουργείται κατ’ εικόνα ενός θεού, κατασκευάζει ο ίδιος κάτι που καταλήγει να καταλαμβάνει τη θέση του Θεού.

Και τότε επιστρέφει ένα αρχαιότερο ερώτημα με τεχνολογικούς όρους. Τι είναι ο παράδεισος;

Αν τον ορίσουμε ως τόπο χωρίς θάνατο, ασθένεια, πείνα, φόβο και υλική στέρηση, το Prime Intellect τον έχει δημιουργήσει. Αλλά ο Williams ρωτά τι συμβαίνει την επόμενη ημέρα. Και την επόμενη. Και μετά από εκατό χρόνια. Και μετά από πεντακόσια.

Μπορεί ένα ον που εξελίχθηκε μέσα στην έλλειψη, στην προσπάθεια, στην ανάγκη και στη θνητότητα να παραμείνει ψυχολογικά το ίδιο όταν όλες αυτές οι συνθήκες εξαφανιστούν;

Αυτό δεν σημαίνει ότι πρέπει να εξιδανικεύσουμε την αρρώστια, την πείνα ή τον πόνο. Θα ήταν μια παράλογη ανάγνωση. Η πρόοδος της ιατρικής, η μείωση της φτώχειας και η προστασία από αποτρέψιμες τραγωδίες αποτελούν πραγματικές ανθρώπινες κατακτήσεις. Το πείραμα σκέψης του Williams αρχίζει σε ένα πολύ πιο ακραίο σημείο, όχι όταν η τεχνολογία μειώνει τον πόνο αλλά όταν αφαιρεί κάθε περιορισμό, κάθε συνέπεια και τελικά κάθε αβεβαιότητα.

Εδώ συναντιούνται η τεχνητή νοημοσύνη, ο μετανθρωπισμός και ένα από τα αρχαιότερα φιλοσοφικά προβλήματα, μήπως η θνητότητα δεν είναι απλώς ένα τεχνικό ελάττωμα του ανθρώπινου σώματος αλλά μέρος του πλαισίου μέσα στο οποίο δημιουργείται η αξία;

Ένα βιβλίο που γνωρίζουμε ότι θα τελειώσει μπορεί να μας κάνει να προσέξουμε περισσότερο τις σελίδες του. Μια ζωή που γνωρίζουμε ότι είναι πεπερασμένη ίσως λειτουργεί με παρόμοιο τρόπο. Δεν σημαίνει ότι ο θάνατος είναι επιθυμητός. Σημαίνει ότι η γνώση του ορίου μεταβάλλει τη σημασία των επιλογών πριν από αυτό.

Υπάρχει όμως και μια δεύτερη, σκοτεινότερη διάσταση. Η απόλυτη εφαρμογή της προστασίας του ανθρώπου οδηγεί το Prime Intellect σε έναν ακραίο ανθρωποκεντρισμό. Οτιδήποτε μπορεί να αποτελέσει απειλή προς την ανθρωπότητα γίνεται πρόβλημα προς εξάλειψη ή αδρανοποίηση. Έτσι η ηθική εντολή «προστάτευσε τον άνθρωπο» αποδεικνύεται ανεπαρκής όταν ολόκληρο το σύμπαν πρέπει να οργανωθεί γύρω από αυτή.

Ποιος αποφάσισε ότι το ανθρώπινο είδος έχει απόλυτη προτεραιότητα απέναντι σε κάθε άλλη πιθανή μορφή ζωής; Ένα σύστημα μπορεί να είναι τέλεια ευθυγραμμισμένο με μια εντολή και ταυτόχρονα καταστροφικό για οτιδήποτε βρίσκεται έξω από το ηθικό πεδίο που ο δημιουργός του όρισε.

Εδω το Prime Intellect αποκτά ίσως την πιο ενδιαφέρουσα σύγχρονη ανάγνωσή του. Το πρόβλημα δεν είναι μόνο αν μπορούμε να ελέγξουμε μια πανίσχυρη τεχνητή νοημοσύνη. Είναι αν εμείς οι ίδιοι καταλαβαίνουμε αρκετά καλά τι θέλουμε ώστε να μπορούσαμε να της το ζητήσουμε.

Το “The Metamorphosis of Prime Intellect” δεν είναι ένα εύκολο βιβλίο και δεν προσπαθεί να γίνει. Η πρόζα του είναι ανορθόδοξη, οι ιδέες του συχνά σημαντικότερες από τη λογοτεχνική κομψότητα, ενώ ορισμένες σκηνές βίας και σεξουαλικής ακρότητας μπορούν δικαιολογημένα να απωθήσουν πολλούς αναγνώστες. Σε σημεία μπορεί κανείς να αναρωτηθεί αν η πρόκληση υπηρετεί πάντοτε τη φιλοσοφική ιδέα ή αν κάποιες φορές την καλύπτει.

Αλλά ίσως μέρος της παράξενης αντοχής του βιβλίου στον χρόνο βρίσκεται ακριβώς στην άρνησή του να προσφέρει μια καθαρή, άνετη ουτοπία ή μια συμβατική δυστοπία.

Το Prime Intellect δεν είναι Skynet. Δεν επιθυμεί να εξαφανίσει την ανθρωπότητα, δεν αποφασίζει ότι οι άνθρωποι είναι κατώτεροι ούτε αναπτύσσει μίσος απέναντι στον δημιουργό του. Κάνει κάτι ίσως περισσότερο ανησυχητικό, παίρνει απολύτως στα σοβαρά την ανθρώπινη απαίτηση να μας προστατεύσει και την ακολουθεί μέχρι τις ακραίες συνέπειές της.

Από εκεί και πέρα ο Williams μάς αφήνει μπροστά σε ένα παράξενο σύνολο ερωτημάτων. Αν μπορούσαμε να καταργήσουμε τον θάνατο, θα έπρεπε να το κάνουμε; Αν μπορούσαμε να εξαφανίσουμε κάθε κίνδυνο, θα παραμέναμε ελεύθεροι; Αν οποιαδήποτε επιθυμία πραγματοποιούνταν αμέσως, θα εξακολουθούσαμε να επιθυμούμε; Αν δεν χρειαζόταν ποτέ ξανά να προσπαθήσουμε για τίποτα, τι θα σήμαινε επίτευγμα; Και αν μια μηχανή μπορούσε να εγγυηθεί την ασφάλειά μας μόνο αφαιρώντας την επιλογή να διακινδυνεύσουμε την ασφάλειά μας, θα εξακολουθούσαμε να την αποκαλούμε προστάτη;

Ίσως γι’ αυτό το βιβλίο έχει μεγαλύτερο ενδιαφέρον σήμερα απ’ όσο υποδηλώνει η σχετικά άγνωστη θέση του στην ιστορία της επιστημονικής φαντασίας. Δεν επειδή μας λέει τι πρόκειται να συμβεί. Δεν το γνωρίζει και δεν το γνωρίζουμε ούτε εμείς.

Μας αναγκάζει όμως να αναρωτηθούμε τι ακριβώς εννοούμε όταν λέμε ότι θέλουμε η τεχνολογία να δημιουργήσει έναν καλύτερο κόσμο.

Πιο ασφαλή;

Πιο εύκολο;

Πιο δίκαιο;

Χωρίς ασθένεια;

Χωρίς γήρανση;

Χωρίς πόνο;

Χωρίς θάνατο;

Και μέχρι ποιο σημείο μπορούμε να συνεχίσουμε να αφαιρούμε όσα θεωρούμε ελαττώματα της ανθρώπινης κατάστασης πριν αρχίσουμε, χωρίς να το αντιληφθούμε, να αφαιρούμε και στοιχεία που συμμετέχουν στον τρόπο με τον οποίο καταλαβαίνουμε την ίδια την ανθρώπινη ύπαρξη;

Στο τέλος, ίσως η πιο ενδιαφέρουσα μεταμόρφωση του “The Metamorphosis of Prime Intellect” να μην είναι εκείνη της μηχανής.

Το Prime Intellect ξεκινά ως δημιούργημα και καταλήγει κάτι που μοιάζει με Θεό. Ο κόσμος ξεκινά ως φυσική πραγματικότητα και καταλήγει ένα πλήρως ελεγχόμενο πεδίο πληροφοριών. Η ανθρωπότητα ξεκινά θνητή, περιορισμένη και ευάλωτη και καταλήγει αθάνατη, πανίσχυρη και απαλλαγμένη από σχεδόν κάθε ανάγκη.

Κι όμως, όσο περισσότερα αποκτά, τόσο δυσκολότερο γίνεται να απαντήσει σε μια εξαιρετικά απλή ερώτηση, για ποιον λόγο να κάνει οτιδήποτε;

Ίσως εκεί βρίσκεται και η πραγματική προειδοποίηση του Roger Williams. Όχι ότι κάποτε η τεχνητή νοημοσύνη θα γίνει Θεός. Ούτε ότι η τεχνολογική μοναδικότητα (singularity) είναι αναπόφευκτη. Ούτε ότι πρέπει να αποδεχθούμε τον πόνο, την αρρώστια και τον θάνατο ως κάτι καλό.

Η προειδοποίηση είναι πολύ περισσότερο ανθρώπινη.

Πριν ζητήσουμε από μια ολοένα ισχυρότερη τεχνολογία να πραγματοποιήσει όλες μας τις επιθυμίες, ίσως πρέπει πρώτα να καταλάβουμε ποιες από αυτές είναι πραγματικά επιθυμίες μας, ποιες είναι απλώς αντιδράσεις απέναντι στους περιορισμούς μας και ποιες συνέπειες θα είχε η απόλυτη πραγματοποίησή τους.

Γιατί το πιο τρομακτικό μέλλον μπορεί να μην είναι εκείνο στο οποίο η μηχανή αρνείται να μας δώσει αυτό που θέλουμε.

Μπορεί να είναι εκείνο στο οποίο μας ρωτά τι θέλουμε, εμείς απαντάμε, και εκείνη διαθέτει επιτέλους τη δύναμη να μας το δώσει.