در صورت دستیابی به هوشیاری، سیستم‌های هوش مصنوعی می‌توانند «مشکلاتی ایجاد کنند».

بر اساس نامه سرگشاده‌ای که توسط متخصصان و متفکران هوش‌مصنوعی از جمله سر استفن فرای[1] امضا شده است، سیستم‌های هوش‌مصنوعی که قادر به احساسات یا خودآگاهی هستند، در صورت توسعه غیرمسئولانه این فناوری در خطر آسیب قرار می‌گیرند.

بیش از 100 کارشناس پنج اصل را برای انجام تحقیقات مسئولانه در آگاهی هوش‌مصنوعی مطرح کرده‌اند، زیرا پیشرفت‌های سریع این نگرانی[2] را ایجاد می‌کند که چنین سیستم‌هایی می‌توانند حساس در نظر گرفته شوند. این اصول شامل اولویت دادن به تحقیقات در مورد درک و ارزیابی هوشیاری در هوش‌مصنوعی، به منظور جلوگیری از "بدرفتاری و رنج[3]" است.

اصول دیگر عبارتند از: تعیین محدودیت در توسعه سیستم‌های هوش‌مصنوعی آگاه. اتخاذ رویکرد مرحله‌ای برای توسعه چنین سیستم‌هایی؛ به اشتراک‌گذاری یافته‌ها با مردم؛ و خودداری از اظهارات گمراه کننده یا بیش از حد مطمئن در مورد ایجاد هوش‌مصنوعی آگاهانه.

امضاکنندگان این نامه شامل اساتیدی مانند سر آنتونی فینکلشتاین[4] در دانشگاه لندن و متخصصان هوش‌مصنوعی در شرکت‌هایی مانند آمازون و گروه تبلیغاتی WPP هستند.

---

 

این مقاله در کنار یک مقاله تحقیقاتی[5] منتشر شده است که اصول را تشریح می‌کند. این مقاله استدلال می‌کند که سیستم‌های هوش‌مصنوعی آگاهانه می‌توانند در آینده نزدیک ساخته شوند - یا حداقل سیستم‌هایی که احساس هوشیار بودن را ایجاد کنند. محققان می‌گویند: «ممکن است تعداد زیادی از سیستم‌های آگاه ایجاد شوند و آسیب ببینند»، و افزودند که اگر سیستم‌های هوش‌مصنوعی قدرتمند بتوانند خود را بازتولید کنند، می‌تواند منجر به ایجاد «تعداد زیادی از موجودات جدید شود که شایسته توجه اخلاقی هستند».

این مقاله که توسط پاتریک باتلین[6] از دانشگاه آکسفورد و تئودوروس لاپاس[7] از دانشگاه اقتصاد و بازرگانی آتن نوشته شده است، اضافه می‌کند که حتی شرکت‌هایی که قصد ایجاد سیستم‌های آگاهانه را ندارند، در صورت «ایجاد ناخواسته موجودیت‌های آگاه» به دستورالعمل‌هایی نیاز خواهند داشت. این سازمان اذعان می‌کند که عدم قطعیت و اختلاف نظر گسترده‌ای در مورد تعریف هوشیاری در سیستم‌های هوش‌مصنوعی و امکان‌پذیر بودن آن وجود دارد، اما می‌گوید این موضوعی است که "ما نباید آن را نادیده بگیریم".

سایر سؤالات مطرح شده توسط این مقاله بر این تمرکز دارند که اگر یک سیستم هوش‌مصنوعی به عنوان «بیمار اخلاقی[8]» تعریف شود، چه باید کرد - موجودی که از نظر اخلاقی «به خودی خود، به خاطر خودش[9]» اهمیت دارد. در آن سناریو، این سوال مطرح می‌شود که آیا از بین بردن هوش‌مصنوعی با کشتن یک حیوان قابل مقایسه است یا خیر.

مقاله‌ای که در ژورنال تحقیقات هوش‌مصنوعی منتشر شده است، همچنین هشدار می‌دهد که یک باور اشتباه مبنی بر اینکه سیستم‌های هوش‌مصنوعی از قبل آگاه هستند، می‌تواند منجر به اتلاف انرژی سیاسی شود زیرا تلاش‌های نادرست برای ارتقای رفاه آنها انجام می‌شود.

این مقاله و نامه توسط Conscium سازماندهی شده است، یک سازمان تحقیقاتی که بخشی از آن توسط WPP تامین می‌شود و توسط مدیر ارشد هوش‌مصنوعی WPP، Daniel Hulme، یکی از بنیانگذاران آن است.

سال گذشته گروهی از دانشگاهیان ارشد[10] استدلال کردند که "احتمال واقع بینانه" وجود دارد که برخی از سیستم‌های هوش‌مصنوعی تا سال 2035 آگاهانه و "از نظر اخلاقی مهم" باشند.

در سال 2023، سر دمیس حسابیس[11]، رئیس برنامه هوش‌مصنوعی گوگل و برنده جایزه نوبل، گفت که سیستم‌های هوش‌مصنوعی «قطعاً» در حال حاضر حساس نیستند، اما می‌توانند در آینده نیز فعال باشند. او در مصاحبه‌ای با شبکه تلویزیونی آمریکایی CBS گفت: «فیلسوفان واقعاً هنوز به تعریفی از خودآگاهی نرسیده‌اند، اما اگر منظورمان نوعی خودآگاهی است، از این قبیل چیزها، فکر می‌کنم این احتمال وجود دارد که روزی هوش‌مصنوعی نیز وجود داشته باشد.»

---

[1] https://www.theguardian.com/culture/stephen-fry

[2] https://www.theguardian.com/technology/2025/jan/28/former-openai-safety-researcher-brands-pace-of-ai-development-terrifying

[3] https://www.theguardian.com/technology/2024/nov/17/ai-could-cause-social-ruptures-between-people-who-disagree-on-its-sentience

[4] Sir Anthony Finkelstein

[5] https://arxiv.org/pdf/2501.07290

[6] Patrick Butlin

[7] Theodoros Lappas

[8] moral patient

[9] in its own right, for its own sake

[10] https://arxiv.org/html/2411.00986v1

[11] Sir Demis Hassabis