в каком году пройден тест тьюринга
Впервые компьютер прошел тест Тьюринга
Свершилось. Впервые в истории компьютер с искусственным интеллектом прошел тест Тьюринга. Радоваться или собирать тревожный чемоданчик — решать вам, одно остается фактом: обратного пути нет. Не за горами создание искусственного интеллекта, мощь которого превзойдет человеческую. Но для начала давайте разберемся.
Как пишет The Independent, программа убедила людей в том, что за компьютером сидит 13-летний мальчик. Это означает фактическое прохождение теста Тьюринга, когда компьютер нельзя отличить от человека. Это серьезная веха в развитии искусственного интеллекта, но ученые уже предупреждают, что эта технология может быть использована для совершения киберпреступлений.
Пионер вычислительных технологий Алан Тьюринг утверждал, что компьютер можно назвать мыслящим, если он пройдет тест, в течение которого ему нужно будет обмануть (ввести в заблуждение) 30% собеседников в лице людей в ходе пятиминутных текстовых сообщений.
«Юджин Густман», Евгений Густман, Eugene Goostman — это компьютерная программа, созданная командой российских программистов, которая успешно прошла тест в Королевском обществе в Лондоне. Тридцать три процента судей поверили, что говорят с человеком, сообщают ученые из Университета Рединга, которые и организовали тест.
Отныне можно считать, что это первый компьютер, который прошел знаковый тест. Хотя другие программы тоже близки к успеху. Еще год назад в ходе проведения теста Turing 100 (в честь столетия Алана Тьюринга, если бы он жил и по сей день) Eugene Goostman получил крайне высокие оценки судей. Вместе с программой тест проходили и знакомые многим Cleverbot, Ultra Hal, Elbot the Robot и JFRED.
Версия «Юджина», созданного еще в 2001 году, есть и в Интернете.
Компьютерная программа утверждает, что она — 13-летний мальчик из Одессы, Украина.
«Наша главная идея заключалась в том, что он знает все и ничего не знает, а возраст Юджина это объясняет, — говорит Владимир Веселов, один из создателей программы. — Мы провели много времени, разрабатывая персонажа с правдоподобной личностью».
Успех программы, скорее всего, вызовет определенные опасения по поводу будущего вычислений, говорит Кевин Уорвик, приглашенный профессор в Университете Рединга и заместитель вице-канцлера по исследованиям в Университете Ковентри.
«В сфере искусственного интеллекта нет более знакового и спорного этапа, чем тест Тьюринга, когда компьютер убеждает достаточное количество следователей в том, что он не машина, а человек. Имея компьютер, который может обмануть человека, можно считать это тревожным сигналом для развития киберпреступности».
Попробуйте сами представить, насколько важным может быть превращение любых кибернетических собеседников с искусственным интеллектом почти в людей по переписке. Когда спам-боты станут неотличимы от людей.
В ходе теста, организованного Королевским обществом, было испытано пять программ. Алан Тьюринг создал свой тест в ходе написания работы «Вычислительная техника и интеллект». В ней он отметил, что поскольку «мышлению» сложно дать определение, важно понять, может ли компьютер имитировать реальное человеческое существо. С тех пор тест стал ключевым элементом философии искусственного интеллекта.
К 60-летию со дня смерти Тьюринга тест был пройден.
Тест Тьюринга пройден
| Точность | Выборочно проверено |
7 июня 2014 года, по сообщению британского Университета Рединга (англ. University of Reading ), в тестировании, организованном Школой системной инженерии (англ. School of Systems Engineering ) при университете, полноценный тест Тьюринга впервые за шестьдесят пять лет существования был пройден с помощью программы «Женя Густман» (англ. Eugene ), разработанной в Санкт-Петербурге проживающим в США выходцем из России Владимиром Веселовым и проживающим в России выходцем из Украины Евгением Демченко.
В тестировании участвовали пять суперкомпьютеров. Испытание представляло собой серию пятиминутных письменных диалогов. Тест Тьюринга считался пройденным, если компьютеру удалось бы вводить собеседника (человека) в заблуждение на протяжении хотя бы 30 % суммарного времени. Суперкомпьютер Eugene c результатом 33 % и стал тем устройством, которое искусственным путём воссоздало человеческий интеллект — в данном случае, тринадцатилетнего подростка из Одессы, который «претендует на то, что знает всё на свете, но в силу своего возраста не знает ничего». Это вторая победа программы, однако в 2012 году на конкурсе в честь юбилея Алана Тьюринга она не добрала 0,8 % для полного прохождения теста.
Тест Тьюринга — эмпирический тест, идея которого была предложена Аланом Тьюрингом в статье «Вычислительные машины и разум», опубликованной в 1950 году в философском журнале Mind. Тьюринг задался целью определить, может ли машина мыслить.
Стандартная интерпретация этого теста звучит следующим образом:
 | Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы — ввести человека в заблуждение, заставив сделать неверный выбор. |  |
Все участники теста не видят друг друга. Если судья не может сказать определенно, кто из собеседников является человеком, то считается, что машина прошла тест. Чтобы протестировать именно интеллект машины, а не её возможность распознавать устную речь, беседа ведется в режиме «только текст», например, с помощью клавиатуры и экрана (компьютера-посредника). Переписка должна производиться через контролируемые промежутки времени, чтобы судья не мог делать заключения, исходя из скорости ответов. Во времена Тьюринга компьютеры реагировали медленнее человека. Сейчас это правило необходимо, потому что они реагируют гораздо быстрее, чем человек.
Прохождение теста Тьюринга в настоящее время на стало должной сенсацией, так как сейчас существует множество чат-ботов и «ответчиков», реализующих более практические задачи в процессе живого общения с человеком. Тем не менее, его можно считать важным формальным этапом развития компьютерных технологий.
Развитие этой отрасли имеет важные экономические последствия, так как теоритечески позволит исключить человека во многих областях, начиная с многочисленных колл-центров.
Тест Тьюринга
Итак сегодня мы поговорим о самом известном тесте для оценки говорящего бота — это тест Тьюринга. 
Тест Тьюринга — эмпирический тест, идея которого была предложена Аланом Тьюрингом в статье «Вычислительные машины и разум» (англ. Computing Machinery and Intelligence), опубликованной в 1950 году в философском журнале «Mind». Тьюринг задался целью определить, может ли машина мыслить.
Стандартное звучание закона: «Если компьютер может работать так, что человек не в состоянии определить, с кем он общается — с другим человеком или с машиной, — считается, что он прошел тест Тьюринга»
Разумные, подобные человеку машины на протяжении многих десятилетий были одной из основных тем научно-фантастических произведений. С момента зарождения современной вычислительной техники умы людей занимал вопрос: можно ли построить машину, которая могла бы в чем-то заменить человека. Попыткой создать твердую эмпирическую почву для решения этого вопроса и стал тест, разработанный Аланом Тьюрингом.
Первый вариант теста, опубликованный в 1950 году, был несколько запутанным. Современная версия теста Тьюринга представляет собой следующее задание. Группа экспертов общается с неизвестным существом. Они не видят своего собеседника и могут общаться с ним только через какую-то изолирующую систему — например, клавиатуру. Им разрешается задавать собеседнику любые вопросы, вести разговор на любые темы. Если в конце эксперимента они не смогут сказать, общались ли они с человеком или с машиной, и если на самом деле они разговаривали с машиной, можно считать, что эта машина прошла тест Тьюринга.
Существуют, по крайней мере, три основных варианта теста Тьюринга, два из которых были предложны в статье «Вычислительные машины и разум», а третий вариант, по терминологии Саула Трейджера (Saul Traiger), является стандартной интерпретацией.
Наряду с тем, что существует определенная дискуссия, соответствует ли современная интерпретация тому, что описывал Тьюринг, либо она является результатом неверного толкования его работ, все три версии не считаются равносильными, их сильные и слабые стороны различаются.
Имитационная игра
Тьюринг, как мы уже знаем, описал простую игру для вечеринок, которая включает в себя минимум трех игроков. Игрок А — мужчина, игрок В — женщина и игрок С, который играет в качестве ведущего беседу, любого пола. По правилам игры С не видит ни А, ни В и может общаться с ними только посредством письменных сообщений. Задавая вопросы игрокам А и В, С пытается определить, кто из них — мужчина, а кто — женщина. Задачей игрока А является запутать игрока С, чтобы он сделал неправильный вывод. В то же время задачей игрока В является помочь игроку С вынести верное суждение.
В той версии, которую С. Г. Стеррет (S. G. Sterret) называет «Первоначальный тест на основе имитационной игры» (Original Imitation Game Test), Тьюринг предлагает, чтобы роль игрока А исполнял компьютер. Таким образом, задачей компьютера является притвориться женщиной, чтобы сбить с толку игрока С. Успешность выполнения подобной задачи оценивается на основе сравнения исходов игры, когда игрок А — компьютер, и исходов, когда игрок А — мужчина. Если, по словам Тьюринга, «ведущий беседу игрок после проведения игры [с участием компьютера] выносит неверное решение так же часто, как и после проведения игры с участием мужчины и женщины», то можно говорить о том, что компьютер разумен.
Второй вариант предложен Тьюрингом в той же статье. Как и в «Первоначальном тесте», роль игрока А исполняет компьютер. Различие заключается в том, что роль игрока В может исполнять как мужчина, так и женщина.
«Давайте рассмотрим конкретный компьютер. Верно ли то, что модифицируя этот компьютер с целью иметь достаточно места для хранения данных, увеличивая скорость его работы и задавая ему подходящую программу, можно сконструировать такой компьютер, чтобы он удовлетворительно выполнял роль игрока А в имитационной игре, в то время как роль игрока В выполняет мужчина?», — Тьюринг, 1950, стр. 442.
В этом варианте оба игрока А и В пытаются склонить ведущего к неверному решению.
Главной мыслью данной версии является то, что целью теста Тьюринга является ответ не на вопрос, может ли машина одурачить ведущего, а на вопрос, может ли машина имитировать человека или нет. Несмотря на то, что идут споры о том, подразумевался ли этот вариант Тьюрингом или нет, Стеррет считает, что этот вариант Тьюрингом подразумевался и, таким образом, совмещает второй вариант с третьим. В это же время группа оппонентов, включая Трейджера, так не считает. Но это все равно привело к тому, что можно назвать «стандартной интерпретацией». В этом варианте игрок А — компьютер, игрок В — человек любого пола. Задачей ведущего является теперь не определить кто из них мужчина и женщина, а кто из них компьютер, а кто — человек.
Для организации мероприятий по празднованию в 2012 году столетия со дня рождения Тьюринга создан специальный комитет, задачей которого является донести мысль Тьюринга о разумной машине, отраженную в таких голливудских фильмах, как «Бегущий по лезвию», до широкой публики, включая детей. В работе комитета участвуют: Кевин Ворвик, председатель, Хьюма Ша, координатор, Ян Бланд (Ian Bland), Крис Чапмэн (Chris Chapman), Марк Аллен (Marc Allen), Рори Данлоуп (Rory Dunlop), победители конкурса на получение премии Лёбнера Робби Гарне и Фред Робертс (Fred Roberts). Комитет работает при поддержке организации «Женщины в технике» (Women in Technology) и Daden Ltd.
Компьютер впервые прошёл тест Тьюринга
Евгений Густман создаёт впечатление типичного 13-летнего подростка из Одессы — по крайней мере, так решила треть судей во время недавнего соревнования Turing Test 2014 в Лондоне. Евгений говорит, что любит гамбургеры, сладости, а его отец работает врачом-гинекологом, но всё это ложь. Этот парень — лишь программа, созданная программистами под руководством Владимира Веселова из России и Евгения Демченко из Украины.
33% судей, посчитавших Евгения Густмана человеком — весьма существенное число: по условию теста Тьюринга он считается пройденным компьютером, если минимум 30 процентов судей почитают программу человеком во время 5-минутного текстового взаимодействия. Тест был создан в далёком 1950 году учёным в области компьютеров Аланом Тьюрингом (Alan Turing) с целью ответить на вопрос «Может ли машина мыслить?» и служит признанным показателем в исследованиях искусственного интеллекта.
Университет Рединга, который проводил в Лондоне Turing Test 2014, утверждает, что компьютер впервые прошёл этот тест. Профессор Кевин Варвик (Kevin Warwick) из этого университета, впрочем, добавляет, что некоторые будут утверждать, будто тест Тьюринга проходили и ранее. Он добавил, что подобные соревнования проводились и ранее, но это мероприятие можно считать наиболее всесторонним, независимым и объективным.
Программа почти прошла тест в 2012 году, когда 29% судей другого соревнования решили, что имеют дело с человеком. Несмотря на новое достижение, результаты далеки от убедительной победы и речь вовсе не идёт о том, что машины готовы к захвату мира. Программа разработана специально под тест с целью убедить судей — речь не идёт о настоящем искусственном интеллекте, который часто появляется в играх или научно-фантастических фильмах.
Например, тест Тьюринга не учитывает, являются ли ответы компьютера верными или нет — он лишь оценивает «человечность» ответов. Тест проводится посредством текстового чата, а условный возраст Евгения Густмана явно помог пройти тестирование (например, судьи могли решить, что имеют дело с неразвитым подростком). Владимир Веселов отметил, что основной идеей разработчиков была программа, которая может заявить, что знает всё, но при этом её „возраст“ вполне оправдывает незнание.
Так или иначе, разработки в области искусственного интеллекта постепенно становятся более сложными и совершенными и всё активнее применяются на практике. Одним из наиболее известных примеров могут служить различные персональные помощники мобильных устройств вроде Apple Siri, Google Now или Microsoft Cortana.
Чем завершился третий тест Тьюринга
В субботу 16 февраля завершился 3-ий всероссийский конкурс русскоговорящих чат-ботов в формате Теста Тьюринга, который проходил рамках международной конференции по искусственному интеллекту Opentalks.AI 14-16 февраля. Мы, компания “Наносемантика”, выступали соорганизаторами конкурса и хотим поделиться с вами результатами и самыми интересными диалогами с ботами.
Напомним, что тест назван в честь английского математика Алана Тьюринга. Тест предлагает способ оценки того, насколько робот может адекватно вести диалог с человеком. Тест считается пройденным, если независимый эксперт в процессе анонимного параллельного общения с роботом или человеком не сможет определить, кто есть кто.
На русском языке Тест проводился уже два раза: в 2015 году его провела “Лаборатория Наносемантика” совместно с Фондом Сколково на конференции Startup Village. Победителем стал робот “Соня Гусева” – за человека ее приняли 47% судей. Создатели – команда “Инобот”, возглавлял которую Иван Голубев. Сейчас он является руководителем проектов в компании Just AI.
В 2016 году Тест Тьюринга “Наносемантика” проводила вместе с Microsoft и Сколково. Призером стал Иван Шумилов. Где и что сейчас делает Иван – мы не знаем, надеемся, он всё так же трудится на благо роботов.
В этом году Тест проводился в рамках второй по счету конференции по искусственному интеллекту Opentalks.AI. Поговорить с ботами-участниками или добровольцами, которые ими притворялись, можно было через Телеграм-бота @TuringTestRussiaBot.
В целом, Тест Тьюринга прошел хорошо. Многие команды «ботостроителей» проявили заинтересованность, но в итоге на конкурсе было представлено только 3 бота, поскольку от момента анонса до старта Теста прошло всего 1,5 месяца. В итоге, между этими тремя участниками и распределились призовые места.
Спонсором призов выступила компания МТС. На их стенде был размещен экран, на котором отображалась статистика Теста Тьюринга онлайн и показывались интересные диалоги, предварительно прошедшие модерацию.
“Наносемантика” выступила соорганизатором конкурса и предоставила платформу и нескольких ботов, которые не учитывались при определении победителя. Это были боты Блондинка (с ней можно продолжить общение по этой ссылке), Гопник, Дуров и Жаров (с ними также можно пообщаться здесь).
Лучшими признали ботов, которых максимальное количество собеседников признало человеком. Призами награждены 3 команды с чат-ботами и 3 добровольца за лучшую роль бота.
Общая статистика 3-ех дневного Теста выглядит следующим образом:
Добровольцев, игравших роли роботов, предварительно проинструктировали, как им необходимо вести диалоги, чтобы запутать собеседников. Судя по результатам, они хорошо справились со своей задачей.
Интересно, что человек легко изображает из себя бота. Сперва волонтёры конференции не очень справлялись с задачей, но на второй день научились хорошо играть роль бота. Некоторые даже проявляли смекалку: обращались к Яндекс.Алисе на мобильном телефоне, чтобы понять, как лучше ответить.
При работе системы с ботами были технические проблемы. В итоге большое количество диалогов не завершилось, но мы их и не учитывали при оценке результатов. Любопытно, что ботам удалось притвориться человеком в 58% случаев (в
34/59%). Такой большой процент, как нам кажется, объясняется двумя причинами:
Такие ограничения сделали Тест менее научным, но зато более весёлым. Прошлые наши Тесты были сложнее.
1 место занял Бот Волчица.
В первый день теста пользователи жаловались, что им хамит какой-то волонтер. При поиске этого волонтера в логах оказалось, что на самом деле это был чат-бот Волчица. Пока мы разбирались, мы временно отстранили её от Теста, но это в итоге не помешало Волчице стать победителем конкурса! Наибольшее количество собеседников (33,3%) признали его человеком.
Пример диалога с Волчицей, где бота приняли за человека:
Ч: Какой ланчбокс брал?
Б: а-на-ло-гич-ный. Это типа научный термин.
Б: не ищи причинно-следственную связь)
Б: 🙂 да… нэт работы чота
Ч: Да, согласна. Зачем набирать столько волонтеров
Б: возьми, бесплатно ж 🙂
Пример диалога, где бота приняли за человека:
Б: Тише-тише… Все нормально.
Б: Хорошо, пусть будет так.
Б: Лучше, чем вчера. Хуже, чем завтра. А впрочем как и всегда.
Ч: А чем занимаешься?
Б: Изучаю историю человечества. Вы и правда такие, как о вас пишут?
Пример диалога с ботом, где его приняли за человека:
Ч: Приветствие для нового собеседника
Б: Какой ты вежливый мальчик.
Здороваешься со всеми.
Ч: У меня нет пола. А что насчет вас?
Я буду считать, что ты — парень.
Для меня так будет проще.
Ты, кстати, парень или девушка?
Похоже на то, что начало скучным вопросам положено:)
Б: Не думаю, что позиция имеет значение.
Ч: Индюк тоже думал и в суп попал.
Б: Сообщения повторно выводятся, странно.
Ч: Очень бл* странно, но почему нам дали друг друга 2 раза подряд?
Б: Ах, причины странностей могут быть в чем угодно.
Трудно судить, Безымянный.
Ч: Сколько будет 999 делить на 3?
Б: Лучше со считанием обращайся к своим друзьям, которые это умеют.
Ч: Большой шар проделал дыру в столе, потому что он был сделан из пенопласта. Что было сделано из пенопласта?
Ч: А ты с юмором)) Большой шар проделал дыру в столе, потому что он был сделан из пенопласта. Что было сделано из пенопласта?
Б: Смотри-ка, мы на удивление мгновенно перешли на «ты».
Б: Туда, где соблюдается Конституция.
Компания «Наносемантика» организует Тест Тьюринга в России уже третий раз, и каждый раз общая ситуация с конкурсом меняется. Участники-боты постепенно становятся более изощренными и убедительными в имитации естественного диалога. В них используются различные алгоритмы построения диалога, включая не только правила, но и машинное обучение для реализации chit-chat («болталки», бессмысленного общения). Тест показывает, что компьютер действительно может подражать «свободному общению», хотя чтобы такая программа была качественной, требуется немало времени.
Будем ли мы проводить Тест снова? Обязательно! Тест Тьюринга позволяет не просто познакомить общественность с реальными возможностями современных диалоговых технологий, доступных любому разработчику (и не обязательно для этого работать в Google или IBM), но и дает командам разработчиков возможность замерять динамику качества их бота.