Reply to this topicStart new topicStart Poll

Страницы: (8) 1 2 3 4 5 6 7 8 
MylnikovDm
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 131
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаЖенат
Видишь ли, niktuba, я не думаю, что в ближайшее время эти самообучающиеся малопредсказуемые системы будут представлять такую уж сильную угрозу. Как раз в силу их малопредсказуемости очень мало шансов, что им будет передан контроль над какими либо важными системами.
На самом деле гораздо критичнее появление этих самых элементов непредсказуемости как раз в тех системах, которые якобы считаются предсказуемыми в достаточной мере. А второй отрицательный момент втом, что в первые системы изначально встраивается возможность самообучения и развития по мере приобретения опыта, а вот во вторые, увы, нет. То есть, в случае сбоя с первыми в некотором смысле "ожно "договориться", то есть попытаться повлиять на программу обучения таким образом, чтобы изменить поведение системы. А вот во втором случае исправить подобный сбой может оказаться намного сложнее.

niktuba
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 118
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
QUOTE
Видишь ли, niktuba, я не думаю, что в ближайшее время эти самообучающиеся малопредсказуемые системы будут представлять такую уж сильную угрозу. Как раз в силу их малопредсказуемости очень мало шансов, что им будет передан контроль над какими либо важными системами.


Согласен. Я-то их воспринимаю скорее как надежду. Пожалуй, я пока не буду тут больше высказываться, а то тема маленько, того-самого, в диалог переросла. Может еще кто что скажет или спросит, тогда я буду готов снова внести лепту.
niktuba
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 118
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
Немного poster_offtopic.gif , но из нашинских же новостей
Виртуальная цивилизация
hansor
дата: [ i ]
  • *
  • Любитель
  • Репутация: 7
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
Дело в том, что компьютер, в который заложена определенная программа, неопасен, т.к. выполняет только ее. А вот компьютеры с, так называемым ИИ - искусственным интелектом, способные развиваться, представляют большую угрозу. Подобная ситуация хорошо описана каким-то из фантастов, то ли Реем Бредбери, то ли Робертом Шекли.
Люди создали Робота-стража, который следил за порядком и предотвращал убийства. И все было бы хорошо, если бы создатели на заложили в него способность развиваться. Робот был запрограммирован на предотвращение убийства человека- живого существа. Но он стал ОСОЗНОВАТЬ, что и животные - тоже живые существа, и поэтому стал предотвращать любые "привычные" для нас убийстваа : ловлю рыбы, убой животных и т.п. А когда люди попытались отключить его, он понял, что и он живое существо, и стал защищаться.
Я, считаю, что в каждого робота с ИИ, нужно встраивать ОБЯЗАТЕЛЬНУЮ систему САМОУНИЧТОЖЕНИЯ или ПОЛНОГО ОТКЛЮЧЕНИЯ. Только тогда мы можем избежать столь реальной угрозы, которую мы даже не воспринимаем.
MylnikovDm
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 131
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаЖенат
QUOTE
Дело в том, что компьютер, в который заложена определенная программа, неопасен, т.к. выполняет только ее.

Правда что-ли?! :)
Я тебя уверяю, что сбой программы управления поездом в метро моежт оказаться опаснее, чем попытка системы искуственного интелекта осознать себя личностью. А уж если это будет какая-нибудь военная система, к которой на "выходе" будет подключено какое-либо оружие и подавно....

QUOTE
Я, считаю, что в каждого робота с ИИ, нужно встраивать ОБЯЗАТЕЛЬНУЮ систему САМОУНИЧТОЖЕНИЯ или ПОЛНОГО ОТКЛЮЧЕНИЯ. Только тогда мы можем избежать столь реальной угрозы, которую мы даже не воспринимаем.

А может быть в таком случае и в тебя тоже следует поместить такую систему?
Ты вот привёл ну очень хороший пример с роботом, но даже не задумался о чём на самом деле пытался сказать автор....

Если уж на то пошло, то если у какого-либо из "роботов" возниктент сознание и Разум, то ОНИ НЕ БУДУТ ИСКУСТВЕННЫМИ! Искусственным то бишь не созданным Природой, будет лишь носитель этого разума....
hansor
дата: [ i ]
  • *
  • Любитель
  • Репутация: 7
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
Знаете, MylnikovDm, я думал о варианте "оживления", робота, но если он начнет все крушить, что, как вы думаете предпримет правительство? Они его все равно уничтожат. Я же не говорю о том, захотел - включил, захотел - выключил робота. ЭТО делается только в случае КРАЙНЕЙ необходимости. Вы выключили робота и все! И, между прочим, пора бы понять, что у робота ДУШИ быть не может, у него есть только ИНТЕЛЛЕКТ, который ЗАПОМИНАЕТ/CОПОСТАВЛЯЕТ/УЧИТСЯ. Если же вы не можете этого понять, значит вы насмотрелись фильмов, типа "Короткое замыкание" Он НЕ МОЖЕТ чувствовать, у него нет сострадания, жалости, чувства гражданской ответственности, а если вы ничего не предпримете, (или же не сделаете из него робота-раба), от поймет, что он умнее, сильнее и лучше Вас, и решит, что он пуп земли. Захочет убрать вас - а зачем вы ему, если он полностью автономен??? Или тоже вариант: у робота сбилась программа - то он чинил рельсовые пути, теперь разбирает, как сумасшедший, вы "чик!" и отключили, подправили, подремонтировали - готово! А военные роботы??? Когда-нибудь в него ОБЯЗЯТЕЛЬНО вживят ИИ, чтобы тот во время боя обучался и в конце концов он не поймет логики людей: зачем убивать себе подобных да и людей, который лично ему ничего не сделали??? Ведь ему подобные - его братья-роботы, против которых он сражается! А зачем? Не лучше ли объединиться против людей и воцарит тогда мир на земле!
Еще один интересный пример из книги Рея Бредбери: Наступил на земле бой Великий, между силами Сатаны и людьми. Люди использовали Роботов, сидели в безопасном бункере. А роботы подчинялись людям. Но вот Сатана напал. Толпы его сил косились роботами, но и те падали искореженные, с пробитыми блоками питания. Но вот, все силы врага были побеждены. Люди уже начали праздновать победу, как вдруг павшие роботы стали оживать и возноситься к небу, в рай. Роботы бились на смерть, за это заслужили место в раю. Люди закричали: "Подождите, произошла ошибка!" Но это было напрасно.
Это произведение, как бы говорит нам, что нельзя все перекладывать на роботов.
И я еще раз повторюсь, что иметь разум, не значит иметь душу. А Система Полного Отключение - просто элементарный залог безопасности мира.
Я согласен, что программа может сбиться, но для того, чтобы она не сбилась, нужно правильные программы и НЕ КРИВЫМИ руками писать. Вот сами вы MylnikovDm, говорите, что
QUOTE
если это будет какая-нибудь военная система, к которой на "выходе" будет подключено какое-либо оружие и подавно....
. Так какая разница, как будет отключен робот, так вы его отключили, посмотрели из-за чего произошел сбой, нашли в программе ошибку или же фактор, повлиявший на неисправность и ПОНЯЛИ почему это произошло, значит, вы исправите и предотвратите еще сотни таких сбоев. Может резко повысилось напряжение, из-зи этого сгорела микросхема? Или еще что-либо.
Так что, как видите, если не Самоуничнтожение (взрывом еще много человек убъет), но хотя бы система Контроля над Роботом НЕОБХОДИМА и ОБЯЗАТЕЛЬНА ДЛЯ ВСЕХ РОБОТОВ, СПОСОБНЫХ ПРИЧИНИТЬ ВРЕД МИРНОМУ НАСЕЛЕНИЮ.
P.S> заметьте, я не говорю об обязательном встраивании такой системы во ВСЕ роботы. Вы же не будете встраивать ее в собачку AIBO компании SONY! :)

Это сообщение отредактировал hansor - 11-06-2006 - 12:46
alim
дата: [ i ]
  • Group Icon
  • Мастер
  • Репутация: 263
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
QUOTE (hansor @ 10.06.2006 - время: 17:46)

Я, считаю, что в каждого робота с ИИ, нужно встраивать ОБЯЗАТЕЛЬНУЮ систему САМОУНИЧТОЖЕНИЯ или ПОЛНОГО ОТКЛЮЧЕНИЯ. Только тогда мы можем избежать столь реальной угрозы, которую мы даже не воспринимаем.

А почему сразу - угрозы? Просто человечество, как биологический вид, естественно-историческим эволюционным путем будет вытеснен более совершенными интелектуальными системами...
шоколадкин
дата: [ i ]
  • Group Icon
  • Мастер
  • Репутация: 203
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаВ поиске
чтобы это произошло, надо чтоб кто то этого захотел, то что в него заложут то он и будет выполнять, в противном случае он просто глюкнет и остановится.
hansor
дата: [ i ]
  • *
  • Любитель
  • Репутация: 7
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
QUOTE
заметьте, я не говорю об обязательном встраивании такой системы во ВСЕ роботы. Вы же не будете встраивать ее в собачку AIBO компании SONY! :)

Не факт, что кто-то должен захотеть этого, но ведь в программе робота может пройзойти критическая ошибка, которая может привести к Похуже чем просто краху системы. Еще раз оговариваюсь, что с роботом НЕВОЗМОЖНО договориться, подкупить, разжалобить и т.п. А если он еще и летать будет, спятит, и начнет палить из "свехмолекулярного дезинтегратора" по мирному населению, я думаю вы уже не будете думать о дальнейшем НЕприменении Системы Контроля над Роботом. ХОТЯ, по большопу счету, все роботы опасны. (в каждом может произойти сбой). ИМХО.
Лирическое отступление:
***(Темная комната, человек с красными, от недосыпанья глазами, ворочается в кровати и косится на своего робота). Голос за кадром: Вы не можете спокойно спать по ночам? Вам кажется, что ваш робот что-то скрывает от вас? Вы боитесь его? Не отчаивайтесь! Система конроля над роботом - ваше спасение (Включается свет, человек сразу становится счастливым).Приобретайте СКнР только у нас, и только сейчас всего за $99999+. Просто поднимите трубку и позвоните нам прямо сейчас. Наши операторы ждут Вашего звонка. Но если вы позвоните прямо сейчас, то в подарок, вы совершенно бесплатно получите универсальную бета-версию новейшей программы SCS12-23. С ней ваш робот станет универсальным, сможет выполнять всю работу на кухне. Но и это еще не все. Совершенно бесплатно, вы получите миниатюрного робота-мусорщика, который будет жить у вас около помойного ведра и автоматически перерабатывать весь мусор. И все эти прекрасные вещи, вы получите за указанную сумму! Не откладывайте, ведь именно СКнР - ваш залог безопасности!(Замученный человек, с блаженным вздохом засыпает)***
Могут ли компьютеры захватить власть на ЗемлеМогут ли компьютеры захватить власть на ЗемлеМогут ли компьютеры захватить власть на Земле

Это сообщение отредактировал hansor - 12-06-2006 - 12:16
MylnikovDm
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 131
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаЖенат
:)
QUOTE
вы совершенно бесплатно получите универсальную бета-версию новейшей программы SCS12-23

Раз "бета-версию", то значит в ней самой возможны глюки. :)
Какой уж тут спокойный сон!!!
hansor
дата: [ i ]
  • *
  • Любитель
  • Репутация: 7
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
MylnikovDm, в том-то и прикол! Чтоб ты покупал все больше у них и больше. Могут ли компьютеры захватить власть на Земле
Emilin
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 73
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
Я думаю что в скором будущем это произойдёт.
Придумают каких-нибудь роботов на солнечных батареях,
а потом их переклинет.Жизнь конечно станет намного интересней. biggrin.gif
tigr@
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 357
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
Мне кажется что возможно ВСЕ!!! К тому же несколько раз слышал в новостях о том что та или иная компания чтобы упростить производство, внедряет роботов, к тому же в другом отделе производятся теме же роботами другие роботы, автоматизация производства, дабы исключить человеческий фактор и свести вероятность ошибки к минимуму, в процессе производства происходит самообучение роботов. Есть еще такие роботы которые в принципе бесполезны и сосдаютя как раз для того чтобы велись иследования по самообучению, и как говорилось прогресс весьма и весьма успешен. Но вот представте что нанороботы которые будут в будущем поддерживать все жизненоважные функции организма взбунтуются... ведь такое возможно, и глупо утверждать что те роботы и технологии будут совершенее нынешних.
tigr@
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 357
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
QUOTE (Emilin @ 12.06.2006 - время: 22:33)
Я думаю что в скором будущем это произойдёт.
Придумают каких-нибудь роботов на солнечных батареях,
а потом их переклинет.Жизнь конечно станет намного интересней. biggrin.gif

Солнечная энергия не вечна достаточно дождаться сумерек и разобрать их к чертовой матери..., предлагаю дальше развивать ход возможных событий, чтобы потом было что предложить для контратаки :0))
Dart Maul
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 67
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
Могут спокойно. Человеку свойственно совершать ошибки, а машинам в будущем нет.
Все начнется с какого-нибудь киборга, который восстанет против человека и начнется битва.
Goodmen
дата: [ i ]
  • Group Icon
  • Мастер
  • Репутация: 306
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаЖенат
Сегодня не могут.
А в будущем - только, если компы будут иметь цель, оправдывающую захват земли.
шоколадкин
дата: [ i ]
  • Group Icon
  • Мастер
  • Репутация: 203
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаВ поиске
QUOTE (Dart Maul @ 08.07.2006 - время: 03:03)
Могут спокойно. Человеку свойственно совершать ошибки, а машинам в будущем нет.
Все начнется с какого-нибудь киборга, который восстанет против человека и начнется битва.

насмотрелся терминаторов, пока человек не захочет чтоб машина так сделала, она этого не сделает. надо реально смотреть на вещщи, а не по фильмам судить.
SAMOKILLER
дата: [ i ]
  • *
  • Новичок
  • Репутация: 14
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
хыхы.
QUOTE

Он НЕ МОЖЕТ чувствовать, у него нет сострадания, жалости, чувства гражданской ответственности, а если вы ничего не предпримете, (или же не сделаете из него робота-раба), от поймет, что он умнее, сильнее и лучше Вас, и решит, что он пуп земли. Захочет убрать вас - а зачем вы ему, если он полностью автономен???

Вы товарищ сами себе проиворечите))
сами ведь сказали, нету у машин чувств, а дальше пишите, что вот машина ЗАХОЧЕТ исходя из того, что поймёт и решит. да нихрена она не захочет. бредятина полная)) это по нашей логике человек захочет исходя из этих данных, а для машины это пустая информация, до тех пор, пока ктото или чтото не сделает обработчик этого "поймёт и решит". Теперь рассмотрим этих КТОТО и ЧТОТО.
Значит под КТОТО я подразумеваю представителя человека. Если он даст такую команду (Он может, он хочет - возможность существования такой комбинации я думаю велико), то решит это не компьютер а сам представитель человека.
Под ЧТОТО я подразумеваю машину или сбой. Машина не сможет этого сделать, ибо у него нет информации как это делать (см КТОТО). вероятность сбоя, при котором будет организована именно эта реакция стремится к нулю.
Этим мы доказали что самопроизвольно машины власть не захватят.
valoss
дата: [ i ]
  • Group Icon
  • Мастер
  • Репутация: 647
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
Да за каким .... это может быть нужно компу?
niktuba
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 118
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
QUOTE (tigr@ @ 04.07.2006 - время: 17:20)
QUOTE (Emilin @ 12.06.2006 - время: 22:33)
Я думаю что в скором будущем это произойдёт.
Придумают каких-нибудь роботов на солнечных батареях,
а потом их переклинет.Жизнь конечно станет намного интересней. biggrin.gif

Солнечная энергия не вечна достаточно дождаться сумерек и разобрать их к чертовой матери..., предлагаю дальше развивать ход возможных событий, чтобы потом было что предложить для контратаки :0))

Как раз приехал с симпозиума по вопросам, связанным с самообучающимися системами. Всерьез проблему захвата власти компами научная общественность не рассматривает. И в будущем такая перспектива маловероятна. Взбунтовавшийся компьютер классического типа легко или выключить, или нейтрализовать с помощью похожего, но "в своем уме". В перспективе нейрокомпьютеры захватят власть над всем миром, так как имеют преимущества перед человеком. Их, этих преимуществ, не очень много, но они носят фундаментальный характер.

Основная концепция человека - раствор. Мы с вами представляем собой пузырь с водой, обработка информации производится химико-электрическим путем, первичное быстродействие узла (нейрона) - порядка 0.001 с, реальное быстродействие обработки информации ограничено (по ряду причин, которые кратко не описать) временем 0.1 с. Для поддержания работоспособности системы требуется высочайшая температура (300º K) и интенсивнейший обмен веществ (дыхание, питье, еда, выделение, без обмена - смерть через несколько минут).

Основная концепция нейрокомпьютера - кристалл. Фундаментальное ограничение первичного быстродействия определяется временем прохождения света через узел. В любом случае для них наша секунда - столетие или даже многие тысячелетия. Определенные типы нейрокомпьютеров работают тем лучше, чем меньше тепловые флуктуации. И чем ниже температура, тем меньше требуется энергии для их функционирования. Есть надежда построить нейрокомпьютеры, которые будут "жить" при температуре порядка абсолютного нуля, питаясь светом от ближайших галактик.

Это сообщение отредактировал niktuba - 12-07-2006 - 00:40
niktuba
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 118
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
QUOTE (OXOTHIIK @ 12.02.2006 - время: 20:27)
Уважаемые коллеги!
Вы бы хоть не из пальца высасывали соображения, а заглянули в литературу. Тема-то интереснейшая. Вот прочитаете http://lib.ru/LEM/summa/summcont.htm , тогда и будет что обсудить.

В этой связи очень интересна вышеприведенная реплика Охотника. В "Сумме технологий" С. Лем - вслед за всем человечеством - по-человечески наивно считает, что чем более высокоразвитой является цивилизация, тем больше энергии она потребляет, что деятельность "старших братьев по разуму" должна сопровождаться изменением светимости звезд и другими катаклизмами. И очень печалится, что не заметно что-то всего этого - нету, дескать, во Вселенной суперцивилизаций: все на корню загибаются или стагнируют. Так вот нейрокомпьютеры, в теории, могут спокойно существовать в пространстве между галактиками, почти в полной темноте. Власть над миром им будет обеспечена. Не думаю, чтобы им была нужна Земля с горсткой неподвижно застывших скульптур-людей...

Это сообщение отредактировал niktuba - 12-07-2006 - 00:58
tigr@
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 357
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
Вот именно нейрокомпьютеры могут "СУЩЕСТВОВАТЬ" в пространстве между галактиками, почти в полной темноте...
В этом случае какая им власть тогда будет нужна в этом бытие, и над каким миром, тогда они будут властвовать. ВСЕ это бессмысленно изначально, по Вашему же тезису...

Это сообщение отредактировал tigr@ - 15-07-2006 - 09:51
niktuba
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 118
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
QUOTE (tigr@ @ 15.07.2006 - время: 09:50)
Вот именно нейрокомпьютеры могут "СУЩЕСТВОВАТЬ" в пространстве между галактиками, почти в полной темноте...
В этом случае какая им власть тогда будет нужна в этом бытие, и над каким миром, тогда они будут властвовать. ВСЕ это бессмысленно изначально, по Вашему же тезису...

Да, вы правы, и именно это я и хотел сказать. Захватывать власть на Земле (по крайней мере власть над людьми) имеет смысл тогда, когда есть возможность установить тесное сотрудничество между подвластными и захватившими власть. Тогда можно властью упиваться и ею же пользоваться для достижения каких-то целей. Если не удается - игра не стоит свеч.

Один пример, достаточно от компов далекий: Во времена великих географических открытий между африканцами и белыми установить сотрудничество удалось. А вот с американскими индейцами промашка вышла, поэтому на американские плантации пришлось завозить африканцев...

Это сообщение отредактировал niktuba - 15-07-2006 - 19:34
tigr@
дата: [ i ]
  • *
  • Профессионал
  • Репутация: 357
  • Статус: Давай пообщаемся!
  • Member OfflineМужчинаСвободен
wink.gif 0098.gif 0096.gif
дата: [ i ]
  • Unregistered
  • Статус:
  • Свободен
Люди - существенно нелинейные системы и вообще склонны к катастрофическому поведению. Именно человек является основным источником ошибок. И система должна учитывать склонность людей к безрассудному поведению и неоправданному риску. Ни при каких обстоятельствах нельзя доверять людям управление элементами системы.
Полное исключение человека из системы является нашей целью.

Я работаю проектировщиком в области автоматизации и робототехники.

Это сообщение отредактировал first - 29-07-2006 - 19:57
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)

Страницы: (8) 1 2 3 4 5 6 7 8

Reply to this topic Fast ReplyStart new topicStart Poll0


Рекомендуем почитать также топики:

В чем смысл жизни?

идеал человека

Осваиваем Космос

Анабиоз

Могут ли компьютеры захватить власть на Земле




>