The future of AI

The future of AI

เว็บไซต์

“ยุคแห่งด้วย”—งานของมนุษย์ที่เสริมและปรับปรุงด้วย AI— อยู่ที่เรา เทคโนโลยีปัญญาประดิษฐ์ที่พัฒนาอย่างรวดเร็วจะกำหนดอนาคตของการใช้ชีวิตและการทำงานของเราอย่างไร เราสำรวจความก้าวหน้า ความสามารถในปัจจุบัน และความเป็นไปได้ในอนาคตของ AI เพื่อให้คุณมองเห็นป่าไม้สำหรับต้นไม้—และป่าที่อยู่ไกลออกไป

การออกแบบเว็บไซต์

อนาคตของ AI อยู่ที่นี่—และทุกที่
มีการเปลี่ยนเฟสที่แท้จริงและอิงตามหลักฐานจากปัญญาประดิษฐ์เป็นความอยากรู้อยากเห็นแบบ “เชอร์รี่ออนท็อป” เป็น “ส่วนประกอบหลัก” ในองค์กรชั้นนำ ผู้ตอบแบบสอบถาม 61% จากรายงาน Deloitte Insights ล่าสุดกล่าวว่า AI จะเปลี่ยนอุตสาหกรรมของตนอย่างมากในอีก 3-5 ปีข้างหน้า นอกจากนี้ การนำไปใช้มีความสำคัญต่อองค์กร โดย 53% ของผู้ตอบแบบสำรวจใช้จ่ายเงินมากกว่า 20 ล้านดอลลาร์ในปีที่ผ่านมาในด้านเทคโนโลยี AI และความสามารถพิเศษ ศูนย์กลางที่เพิ่มขึ้นของ AI ในกระบวนการทางธุรกิจและแม้แต่กลยุทธ์ก็ไม่ต้องอภิปรายอีกต่อไป
เช่นเดียวกับเทคโนโลยีเกิดใหม่ที่มีอัตราเร่งแบบทวีคูณ อย่างไรก็ตาม ข่าวสารมากมายได้เปิดทางให้เกิดเสียงรบกวนมากขึ้น คุณมองเห็นป่าสำหรับต้นไม้ได้อย่างไร?
ดูเหมือนว่ากุญแจสำคัญคือการมองข้าม AI-as-platitude และเหนือศัพท์แสงตามสั่ง หากต้องการยิงลอนไปที่ “โซน Goldilocks” ซึ่งกลุ่มย่อยที่เชื่อมโยงกัน มีการเติบโตสูงและมีผลกระทบจะง่ายต่อการเข้าใจและมีประโยชน์มากกว่า ด้วยวิธีนี้ เราไม่เพียงแต่สามารถเข้าใจสิ่งที่เกิดขึ้นได้ดีขึ้นเท่านั้น แต่ยังทำให้เข้าใจได้ว่าการเคลื่อนไหวเหล่านี้มีแนวโน้มไปทางไหน
เครื่องสอน (ไม่บอก)
วิศวกรและนักวิทยาศาสตร์คอมพิวเตอร์ใช้เวลาหลายทศวรรษในการพัฒนาความสามารถของคอมพิวเตอร์ในการแก้ปัญหาคณิตศาสตร์และตรรกะแบบคลาสสิก แต่เมื่อมันปรากฏออกมา ชุดใหญ่ของการตัดสินใจในโลกแห่งความเป็นจริงไม่ได้ถูกจัดวางโดยทันทีว่าเป็นปัญหาทางคณิตศาสตร์ที่เป็นระเบียบเรียบร้อย
แมชชีนเลิร์นนิง (ML) ได้รับค่าจ้างในสถานการณ์ประเภทนี้: เมื่อเราไม่สามารถใช้คณิตศาสตร์อย่างมีเหตุผลหรือคุ้มทุนเพื่อบอกคอมพิวเตอร์ว่าต้องทำอะไร เราสามารถใช้ ML เพื่อสอนคอมพิวเตอร์ว่าต้องทำอย่างไรโดยแสดงตัวอย่าง ของวิธีการทำ
AI/ML “การระเบิด Cambrian” ในปัจจุบันนี้ส่งผลให้เกิดการคิดใหม่อย่างสิ้นเชิงว่าคอมพิวเตอร์สามารถเรียนรู้อะไรได้บ้าง สตาร์ทอัพและผู้ดำรงตำแหน่งต่าง ๆ กำลังสอนเครื่องจักรให้เลียนแบบความสามารถที่เพิ่มขึ้นเรื่อยๆ ซึ่งครั้งหนึ่งเคยคิดว่าเป็น “มนุษย์ที่มีเอกลักษณ์เฉพาะตัว”
ขอบเขตอื่น ๆ ของความก้าวหน้าของ AI ได้แก่ ความรู้สึกและการหยั่งรู้ (ประสาทสัมผัสทั้งห้า) ความคิดสร้างสรรค์ (การอ่าน การเขียน และศิลปะ); และความชอบใจ (ความฉลาดทางอารมณ์)
The Age of With (ไม่ต่อต้าน)
การวิจัย AI ชี้ให้เห็นว่าในขณะที่ความฉลาดของเครื่องจักรเพิ่มขึ้นอย่างทวีคูณ มนุษย์ก็ยอมจำนนต่อแนวโน้มที่จะคิดว่าเครื่องจักรเป็น “คนแปลกหน้า” ที่จะถูกกลัวและถึงกับถูกรังเกียจ
รูบริกที่มีประโยชน์มากกว่าสำหรับการคิดเกี่ยวกับอนาคตของเราด้วยปัญญาประดิษฐ์อาจเป็นการคิดถึงเครื่องจักรให้น้อยลงในฐานะคนแปลกหน้าที่จะแข่งขันกับผู้อื่นและในฐานะหุ้นส่วนที่จะร่วมทีมกับ “พี่น้อง” น้อยลง เราได้ก้าวข้ามขีดจำกัดไปสู่ยุคแห่งด้วย ซึ่งมนุษย์สามารถทำงานร่วมกับเครื่องจักรเพื่อส่งมอบผลลัพธ์ที่ผสมผสานความเร็วและความแม่นยำของกลไกด้วยสัญชาตญาณและความอยากรู้อยากเห็นของมนุษย์
อนาคตของ AI นั้นมีความน่าสนใจมากขึ้นอย่างเห็นได้ชัด เนื่องจากตัวแทนอัจฉริยะเหล่านี้ยังคงเพิ่มจำนวน เชี่ยวชาญ และลงมือปฏิบัติอย่างต่อเนื่อง
แต่การทำงานทางกายภาพล่ะ? แม้ว่าหุ่นยนต์จะมีมาระยะหนึ่งแล้ว แต่หุ่นยนต์ในปัจจุบันมีความแตกต่างกันอย่างน้อยสองประการ: พวกมันสามารถกำหนดค่าได้มากกว่าและรับรู้สถานการณ์มากขึ้น
ด้วยเหตุนี้ อนาคตของหุ่นยนต์ในที่ทำงานจึงเปลี่ยนไปเป็น “โคบอท” มากขึ้น: เพื่อนร่วมทีมหุ่นยนต์ที่ทำงานร่วมกัน กับ เรา มากกว่าที่จะมา แทนที่ เรา ดังนั้นในขณะที่พาดหัวข่าวฮิสทริโอนิกจะจับจ้องมาเป็นเวลานานเกี่ยวกับหุ่นยนต์ที่เข้ามาทำงานของเรา แนวโน้มการวิจัยชี้ให้เห็นว่าพวกเขามีแนวโน้มที่จะเป็นเพื่อนร่วมงานของเรามากกว่า ตลาดโคบอทคาดว่าจะมีมูลค่า 7.5 พันล้านดอลลาร์ภายในปี 2570 หรือประมาณ 29% ของตลาดหุ่นยนต์อุตสาหกรรมทั่วโลก ตลาดคาดว่าจะเติบโตต่อไปในอัตรามากกว่า 60% ต่อปีในอีกสองปีข้างหน้าและมากกว่า 35% CAGR จนถึงปี 2027
อนาคต AI ที่ใช้ร่วมกันของเรา
ในขณะที่นิยายวิทยาศาสตร์ทั้งหมดสำรวจความสัมพันธ์ของเรากับเทคโนโลยี แต่แนวไซไฟที่สดใสเป็นพิเศษพูดถึงข้อห้ามของตัวเราเองที่กลายเป็นสิ่งมีชีวิตที่ใช้เทคโนโลยี การวิจัยชี้ให้เห็นว่าอนาคต AI ที่ใช้ร่วมกันของเราส่วนหนึ่งเกี่ยวกับการกลายเป็นไซบอร์กของเรา เป็นวิวัฒนาการร่วมกันที่เชื่องช้าและอยู่ร่วมกันอย่างช้าๆ ที่เราเลือกเอง และมันก็ได้เริ่มต้นขึ้นแล้ว
AI รอบตัวเรา
คำมั่นสัญญาที่ว่า “เสมอต้นเสมอปลาย เชื่อมโยงเสมอ” ได้เปลี่ยนจากการเก็งกำไรด้าน R&D ไปสู่ความเอร็ดอร่อยทางการตลาดในวัยรุ่น ไปจนถึงประสบการณ์ชีวิตของเราในต้นยุค 20 ด้วยการเข้าถึงการใช้คอมพิวเตอร์อย่างแพร่หลายทำให้สามารถถ่ายโอนความรู้ความเข้าใจและความทรงจำของเราไปยังอุปกรณ์มือถือและผู้ช่วย AI ของเราได้อย่างน่าเชื่อถือและสม่ำเสมอ จิตใจของเราได้เปลี่ยนแปลงไปอย่างมากจากการที่เรามีการสนับสนุนทางเทคโนโลยีมาโดยตลอด เส้นแนวโน้มของเราแนะนำว่าแม้แต่อนาคตที่ยากที่สุดก็มีแนวโน้มที่จะได้รับข้อมูลมากมายและการสนับสนุนด้านความรู้ความเข้าใจ
AI กับเรา
ในขณะที่ผู้ครองตลาดไฮเปอร์สเกลปรับแว่นตาอัจฉริยะให้เป็นมาตรฐาน และสตาร์ทอัพเริ่มทำงานกับคอนแทคเลนส์อัจฉริยะ เส้นแนวโน้มชี้ไปที่อนาคตที่ประสบการณ์ทางกายภาพในแต่ละวันของเราส่วนใหญ่จะเป็นสื่อกลางผ่านเลเยอร์ดิจิทัลที่ได้รับแจ้งจากปัญญาของเครื่อง เช่นเดียวกับที่เราคุ้นเคยกับอุปกรณ์เหล่านี้ เราก็รู้สึกสบายใจมากขึ้นเมื่อเห็นอุปกรณ์เหล่านี้เห็นเราในรายละเอียดที่ครั้งหนึ่งเคยจ่ายให้กับผู้เชี่ยวชาญทางการแพทย์เท่านั้น
AI ในตัวเรา
ไม่มีทางแก้ไข: ความคิดเรื่องชิปในสมองของเรากำลังสั่นคลอน การพูดคุยกับคอมพิวเตอร์อาจเร็วกว่าการพิมพ์ในเครื่องเดียว แต่ทั้งคู่ก็ดูซีดเซียวเมื่อเปรียบเทียบกับโอกาสที่จะ “ควบคุมความคิด” ตัวอย่างเช่น วันนี้ ทีมวิจัยกำลังทำงานร่วมกับผู้ป่วยอัมพาตครึ่งซีกเพื่อใช้อุปกรณ์ฝังประสาทและกล้ามเนื้อที่เพิ่งตั้งไข่เพื่อช่วยให้พวกเขาใช้แขนขาได้เหมือนเดิม เช่นเดียวกับคนตาบอดและคนหูหนวกเพื่อช่วยให้พวกเขาสัมผัสได้ถึงความรู้สึกของภาพและเสียงโดยประมาณ เราสามารถเริ่มคาดเดาถึงความแตกต่างและความเข้มข้นที่เพิ่มขึ้นของการอภิปรายในขณะที่เราพัฒนาจากการเสริมกล้ามเนื้อไปจนถึงการเสริมความรู้ความเข้าใจ

เว็บแอพพลิเคชั่น

ใช้งานง่ายและใช้งานง่าย
ใครเป็นผู้รับผิดชอบในการตรวจสอบให้แน่ใจว่า AI ได้รับการพัฒนาและดำเนินการอย่างยุติธรรม ปลอดภัย และมีจริยธรรม?
จำเป็นอย่างยิ่งที่ผู้นำและนักพัฒนาต้องพยายามระบุและบรรเทา “อุบัติเหตุเกี่ยวกับอัลกอริทึม” เพื่อลดโอกาสที่อคติทางสังคมและอคติที่สร้างความเสียหายให้กับผลลัพธ์ก่อนที่จะนำไปใช้ในวงกว้าง ขั้นตอนแรกในทิศทางนี้ทำให้เกิดการย้ายไปสู่ ​​”AI ที่อธิบายได้” นั่นคือการย้ายออกจากอัลกอริธึม “กล่องดำ” แบบปรอทไปสู่รูปแบบที่โปร่งใสและตรวจสอบได้ซึ่งส่งเสริมความรับผิดชอบ
AI จะไม่เป็นแรงผลักดันให้เกิดความดีในอนาคต หากปล่อยให้พฤติกรรมแย่ๆ เกิดขึ้นเร็วขึ้น
AI จะเป็นภัยคุกคามต่อความเป็นส่วนตัวและความปลอดภัยของเราหรือไม่?
ในด้านความปลอดภัย เราอาจกล่าวได้ว่าผลกระทบทางไซเบอร์นั้นดูเหมือนจะเป็นสิ่งที่จับต้องได้ เทคโนโลยีที่ใช้ AI เป็นประโยชน์อย่างยิ่งต่อการป้องกันความปลอดภัยทางไซเบอร์ แต่ยังเป็นอาวุธที่น่ารังเกียจสำหรับผู้ที่มองหาอันตราย
อย่างไรก็ตาม ความต้องการข้อมูลการฝึกอบรมที่ไม่เพียงพอของโมเดล AI นั้นสร้างแรงกดดันให้กับนักพัฒนาในการรวบรวมและจัดเก็บข้อมูลที่ไม่จำเป็น สถานการณ์นี้ก่อให้เกิดภัยคุกคามต่อการไม่เปิดเผยตัวตนและความเป็นส่วนตัว หากองค์กรหรือพนักงานที่ไม่ได้รับการดูแลภายในองค์กรล้มเหลวในการยับยั้งชั่งใจ
AI คุกคามชีวิตความเป็นอยู่ของผู้คนหรือไม่?
AI ยืนหยัดทำลายทุกอุตสาหกรรมหลักอย่างลึกซึ้งและมีแนวโน้มที่จะสัมผัสทุกแง่มุมของชีวิตเรา จำเป็นอย่างยิ่งที่ผู้คนนอกแผนกวิทยาการคอมพิวเตอร์จะต้องใช้ AI ได้อย่างคล่องแคล่ว หรืออย่างน้อยก็เชี่ยวชาญด้าน AI ไปเป็นวันที่นักวิทยาศาสตร์ด้านข้อมูลที่เป็นเอกพจน์และพิเศษสามารถนับได้เพื่อสร้างแผนภูมิหลักสูตรไปข้างหน้า เช่นเดียวกับที่การรู้หนังสือคอมพิวเตอร์กลายเป็นโต๊ะพนันแบบมืออาชีพในยุคที่แล้ว ดังนั้นจึงมีแนวโน้มว่าจะต้องควบคู่ไปกับความรู้ AI/ML และการตัดสินใจที่ขับเคลื่อนด้วยข้อมูล
ใครจะได้รับความไว้วางใจให้ควบคุมและสร้างแรงจูงใจ?
ผู้กำหนดนโยบายและสถาบันระหว่างประเทศกำลังรวมตัวกันเพื่อสร้างเงื่อนไขในรูปแบบของมาตรฐาน โปรโตคอล และข้อกำหนดสำหรับการใช้งาน AI หน่วยงานกำกับดูแลอาจแนะนำการจำกัดความสามารถในการตรวจสอบ ความสามารถ และการใช้งานของ AI โดยเรียกเก็บการลงโทษผู้ฝ่าฝืนในรูปแบบของบทลงโทษทางการเงิน
ในทางกลับกัน องค์กรเดียวกันนี้ พร้อมด้วยหน่วยงานส่วนตัวและผู้ใจบุญ อาจเลือกที่จะเสนอสิ่งจูงใจให้กับผู้ที่พัฒนาและปรับใช้ AI ในลักษณะที่สอดคล้องกับความคาดหวังร่วมกัน
ปัญญาประดิษฐ์คืออนาคตหรือไม่? ใช่ แต่พวกเราก็เช่นกัน
สายพันธุ์ของเราถูกกำหนด (หรืออย่างน้อยก็มีความแตกต่างกันอย่างน้อยที่สุด) ด้วยความสามารถของเราในการเรียนรู้ การสร้าง และการปรับตัว เมื่อมองผ่านเลนส์อันยาวไกลนี้ AI ก็ไม่ใช่ทั้งฮีโร่และวายร้าย ค่อนข้างจะเป็นตัวแทนของสายพันธุ์ของเราในชุดการแฮ็กที่ยาวนาน: คราวนี้เป็นการขจัดความรอบคอบและการตัดสินใจ
การขยายพันธุ์
การเพิ่มจำนวนผู้ช่วยอัจฉริยะนี้เกิดขึ้นในอย่างน้อยสองมิติ: แพลตฟอร์มและสถานที่ ในด้านแพลตฟอร์ม เราได้เห็นการระเบิด 10 ปีจากเพียงแค่ Siri ไปจนถึงระบบนิเวศที่เจริญรุ่งเรืองซึ่งรวมถึง Siri, Echo, Google, Cortana และส่วนท้ายยาวของเอนทิตีพิเศษเช่น Bixby, Hound, Robin และ Lyra
ในแง่ของสถานที่ เราเห็นการย้ายจาก “อุปกรณ์เดียว” เป็น “อุปกรณ์ทุกที่” การคุยโทรศัพท์หรือลำโพงทำให้เราสามารถพูดออกมาดังๆ ไม่ว่าเราจะอยู่ที่ไหน และคาดหวังว่า AI จะอยู่ที่นั่น นักวิจัยเรียกการคำนวณแวดล้อมนี้
[NPC4]ความเชี่ยวชาญ
การวิจัยของเราชี้ให้เห็นว่าเส้นทางที่มีแนวโน้มในอนาคตของ AI จะเป็นความเชี่ยวชาญพิเศษเพิ่มเติม โดยที่บริษัทสตาร์ทอัพในวันพรุ่งนี้มีแนวโน้มที่จะลงทุนพลังงานเพื่อพัฒนาความเป็นเลิศและความแตกต่างเฉพาะโดเมน มีเหตุผลว่า Alexa, Siri และตระกูลของพวกเขาอาจมีวิวัฒนาการต่อไปเพื่อให้กลายเป็นพ่อบ้านดิจิทัลที่ดูแลพนักงานเต็มรูปแบบของเจ้าหน้าที่ดิจิทัลที่ค่อนข้างจูเนียร์และเชี่ยวชาญ
เชิงรุก
AIs ก้าวไปอีกขั้นในห่วงโซ่คุณค่า เมื่อพวกเขายกระดับจากผู้รับคำสั่งที่มีปฏิกิริยาตอบสนองไปสู่ผู้สร้างการเปลี่ยนแปลงเชิงรุก อนาคตของผู้ช่วย AI นั้นไม่ต้องสงสัยเลยว่าความสามารถในการทำนายและดำเนินการในลักษณะที่เราในฐานะมนุษย์พบว่ามีประโยชน์และไม่น่ารำคาญ ในฐานะที่เป็นเทคนิค ML และการฝึกอบรมข้อมูล เราสามารถตั้งตารอเครื่องจักรที่ทำตัวไม่ค่อยเหมือนคนขี้บ่นและชอบที่ปรึกษาและโค้ชที่ไว้ใจได้
ทำไมต้องศึกษาความปลอดภัยของ AI?
ในระยะใกล้นี้ เป้าหมายในการรักษาผลกระทบของ AI ต่อสังคมให้เป็นประโยชน์กระตุ้นการวิจัยในหลาย ๆ ด้าน ตั้งแต่เศรษฐศาสตร์และกฎหมายไปจนถึงหัวข้อทางเทคนิค เช่น การตรวจสอบ ความถูกต้อง ความปลอดภัย และการควบคุม แม้ว่าแล็ปท็อปของคุณอาจพังหรือถูกแฮ็กอาจเป็นเรื่องที่น่ารำคาญเล็กน้อย แต่สิ่งที่สำคัญกว่าคือระบบ AI จะทำสิ่งที่คุณต้องการให้ทำหากควบคุมรถ เครื่องบิน เครื่องกระตุ้นหัวใจ การซื้อขายอัตโนมัติของคุณ ระบบหรือโครงข่ายไฟฟ้าของคุณ อีกความท้าทายในระยะสั้นคือการป้องกันการทำลายล้างแข่งขันด้านอาวุธในอาวุธของตนเองตาย
ในระยะยาว คำถามสำคัญคือสิ่งที่จะเกิดขึ้นหากการแสวงหา AI ที่แข็งแกร่งประสบความสำเร็จและระบบ AI จะดีกว่ามนุษย์ในงานด้านความรู้ความเข้าใจทั้งหมด ตามที่IJ Goodชี้ให้เห็นในปี 1965 การออกแบบระบบ AI ที่ชาญฉลาดขึ้นนั้นเป็นงานที่เกี่ยวกับการรับรู้ ระบบดังกล่าวอาจได้รับการปรับปรุงตนเองแบบเรียกซ้ำ ทำให้เกิดการระเบิดของหน่วยสืบราชการลับที่ทิ้งสติปัญญาของมนุษย์ไว้เบื้องหลัง ด้วยการคิดค้นเทคโนโลยีใหม่ที่ปฏิวัติวงการความฉลาดหลักแหลมดังกล่าวอาจช่วยเรา ขจัดสงคราม โรคภัย และความยากจน ดังนั้นการสร้าง AI ที่แข็งแกร่งอาจเป็นเหตุการณ์ที่ยิ่งใหญ่ที่สุดในประวัติศาสตร์ของมนุษย์ ผู้เชี่ยวชาญบางคนแสดงความกังวลว่ามันอาจจะเป็นสิ่งสุดท้าย เว้นเสียแต่ว่าเราเรียนรู้ที่จะปรับเป้าหมายของ AI ให้สอดคล้องกับเป้าหมายของเราก่อนที่มันจะกลายเป็นอัจฉริยะ
มีบางคนตั้งคำถามว่าจะบรรลุ AI ที่แข็งแกร่งหรือไม่ และคนอื่นๆ ที่ยืนยันว่าการสร้าง AI ที่ชาญฉลาดนั้นรับประกันว่าจะเป็นประโยชน์ ที่ FLI เราตระหนักถึงความเป็นไปได้ทั้งสองนี้ แต่ยังตระหนักถึงศักยภาพของระบบปัญญาประดิษฐ์ที่จะก่อให้เกิดอันตรายร้ายแรงทั้งโดยเจตนาหรือไม่ตั้งใจ เราเชื่อว่าการวิจัยในวันนี้จะช่วยให้เราเตรียมตัวและป้องกันผลกระทบที่อาจเกิดขึ้นในอนาคตได้ดียิ่งขึ้น ซึ่งจะทำให้ได้รับประโยชน์จาก AI ในขณะที่หลีกเลี่ยงหลุมพราง
AI จะเป็นอันตรายได้อย่างไร?
นักวิจัยส่วนใหญ่เห็นพ้องกันว่า AI ที่ฉลาดหลักแหลมไม่น่าจะแสดงอารมณ์ของมนุษย์ เช่น ความรักหรือความเกลียดชัง และไม่มีเหตุผลใดที่จะคาดหวังให้ AI กลายเป็นคนใจดีหรือคิดร้ายโดยเจตนา เมื่อพิจารณาว่า AI อาจกลายเป็นความเสี่ยงได้อย่างไร ผู้เชี่ยวชาญคิดว่าสองสถานการณ์น่าจะเป็นไปได้มากที่สุด:

AI ถูกตั้งโปรแกรมให้ทำสิ่งที่ทำลายล้าง: อาวุธอัตโนมัติเป็นระบบปัญญาประดิษฐ์ที่ได้รับการตั้งโปรแกรมให้ฆ่า ในมือของคนที่ไม่ถูกต้อง อาวุธเหล่านี้อาจทำให้เสียชีวิตได้ง่าย นอกจากนี้ การแข่งขันด้านอาวุธ AI อาจนำไปสู่สงคราม AI โดยไม่ได้ตั้งใจ ซึ่งส่งผลให้มีผู้บาดเจ็บล้มตายเป็นจำนวนมาก เพื่อหลีกเลี่ยงการถูกขัดขวางโดยศัตรู อาวุธเหล่านี้ได้รับการออกแบบให้ยากที่จะ “ปิด” ได้ยากมาก ดังนั้นมนุษย์จึงอาจสูญเสียการควบคุมสถานการณ์ดังกล่าวได้ ความเสี่ยงนี้มีอยู่แม้ใน AI ที่แคบ แต่จะเพิ่มขึ้นเมื่อระดับความฉลาดของ AI และความเป็นอิสระเพิ่มขึ้น
AI ถูกตั้งโปรแกรมให้ทำสิ่งที่เป็นประโยชน์ แต่มันพัฒนาวิธีการทำลายล้างเพื่อให้บรรลุเป้าหมาย: สิ่งนี้สามารถเกิดขึ้นได้เมื่อใดก็ตามที่เราไม่สามารถปรับเป้าหมายของ AI ให้สอดคล้องกับเป้าหมายของเราได้อย่างเต็มที่ ซึ่งเป็นเรื่องยากอย่างยิ่ง หากคุณขอให้รถอัจฉริยะที่เชื่อฟังพาคุณไปสนามบินให้เร็วที่สุด มันอาจพาคุณไปที่นั่นโดยเฮลิคอปเตอร์ไล่และอาเจียน ไม่ได้ทำในสิ่งที่คุณต้องการ แต่แท้จริงแล้วสิ่งที่คุณขอ หากระบบอัจฉริยะระดับสูงได้รับมอบหมายให้เข้าร่วมโครงการวิศวกรรมภูมิสารสนเทศที่มีความทะเยอทะยาน ระบบอาจสร้างความเสียหายให้กับระบบนิเวศของเราเป็นผลข้างเคียง และมองว่าความพยายามของมนุษย์ที่จะหยุดยั้งมันเป็นภัยคุกคามที่จะเกิดขึ้น
[NPC5]ดังตัวอย่างเหล่านี้ ความกังวลเกี่ยวกับ AI ขั้นสูงไม่ใช่ความมุ่งร้าย แต่เป็นความสามารถ AI ที่ชาญฉลาดจะเก่งมากในการบรรลุเป้าหมาย และหากเป้าหมายเหล่านั้นไม่สอดคล้องกับเป้าหมายของเรา เราก็มีปัญหา คุณอาจไม่ใช่ผู้เกลียดชังมดตัวร้ายที่เหยียบย่ำมดด้วยความอาฆาตพยาบาท แต่ถ้าคุณอยู่ในความดูแลของโครงการพลังงานน้ำสีเขียวและมีจอมปลวกในภูมิภาคที่จะถูกน้ำท่วม แย่เกินไปสำหรับมด เป้าหมายหลักของการวิจัยด้านความปลอดภัยของ AI คือการไม่ให้มนุษย์อยู่ในตำแหน่งของมดเหล่านั้น