Новое исследование, проведенное Университетом Монтаны и его партнерами, предполагает, что искусственный интеллект может сравниться с 1% лучших мыслителей-людей по стандартному тесту на креативность.
Исследованием руководил доктор Эрик Гузик, ассистент клинического профессора Колледжа бизнеса UM. Он и его партнеры использовали тесты творческого мышления Торранса, хорошо известный инструмент, который десятилетиями использовался для оценки креативности человека.
Исследователи представили восемь ответов, сгенерированных ChatGPT, приложением, работающим на базе движка искусственного интеллекта GPT-4. Они также представили ответы контрольной группы из 24 студентов UM, посещающих курсы Гузика по предпринимательству и личным финансам. Эти результаты были сопоставлены с результатами 2700 студентов колледжей по всей стране, которые сдавали TTCT в 2016 году. Все заявки были оценены службой тестирования Scholastic, которая не знала об участии искусственного интеллекта.
Результаты поместили ChatGPT в элитную компанию за креативность. Приложение с искусственным интеллектом оказалось в верхнем процентиле по беглости — способности генерировать большой объем идей — и по оригинальности — способности выдвигать новые идеи. Искусственный интеллект немного снизился — до 97—го процентиля — в плане гибкости, способности генерировать различные типы и категории идей.
«Для ChatGPT и GPT-4 мы впервые показали, что они входят в топ-1% по оригинальности», — сказал Гузик. «Это было что-то новенькое».
Он с удовлетворением отметил, что некоторые из его студентов UM также вошли в топ-1%. Тем не менее, ChatGTP превзошел подавляющее большинство студентов колледжей по всей стране.
Гузик тестировал искусственный интеллект и своих студентов в течение весеннего семестра. В работе ему помогали Кристиан Гильде из UM Western и Кристиан Бирдж из Вильнюсского университета. Исследователи представили свою работу в мае на конференции креативности Университета Южного Орегона.
«Мы были очень осторожны на конференции, чтобы не слишком сильно интерпретировать данные», — сказал Гузик. «Мы только что представили результаты. Но мы поделились убедительными доказательствами того, что искусственный интеллект, похоже, развивает творческие способности наравне с человеческими или даже превосходит их».
Гузик сказал, что он спросил ChatGPT, что бы это значило, если бы оно хорошо работало на TTCT. Искусственный интеллект дал убедительный ответ, которым они поделились на конференции:
«ChatGPT сказал нам, что мы, возможно, не до конца понимаем человеческое творчество, и я считаю, что это правильно», — сказал он. «Это также наводит на мысль, что нам, возможно, понадобятся более сложные инструменты оценки, которые смогут проводить различие между идеями, созданными человеком, и идеями, созданными искусственным интеллектом».
Он сказал, что TTCT является защищенным патентованным материалом, поэтому ChatGPT не мог «обмануть», получив доступ к информации о тесте в Интернете или в общедоступной базе данных.
Гузик давно интересуется творчеством. Будучи семиклассником, выросшим в маленьком городке Палмер, штат Массачусетс, он участвовал в программе для талантливых учеников. Этот опыт познакомил его с процессом решения проблем будущего, разработанным Эллисом Полом Торрансом, психологом-новатором, который также создал TTCT. Гузик сказал, что в то время он влюбился в мозговой штурм и в то, как он воздействует на человеческое воображение, и он продолжает активно сотрудничать с организацией Future Problem Solving organization — даже познакомился со своей женой на одной из ее конференций.
Гузик и его команда решили протестировать креативность ChatGPT после того, как поиграли с ним в течение прошлого года.
«Мы все изучали ChatGPT и заметили, что он делает некоторые интересные вещи, которых мы не ожидали», — сказал он. «Некоторые ответы были новыми и удивительными. Именно тогда мы решили протестировать его, чтобы увидеть, насколько он креативен на самом деле «.
Гузик сказал, что в тесте TTCT используются подсказки, имитирующие реальные творческие задания. Например, можете ли вы придумать новое применение продукту или улучшить этот продукт?
«Допустим, это баскетбольный мяч», — сказал он. «Подумайте о стольких вариантах использования баскетбольного мяча, сколько сможете. Вы можете снять его в обруче и использовать на витрине. Если вы заставите себя подумать о новом применении, возможно, вы нарежете его и будете использовать в качестве плантатора. Или из кирпича можно что-то строить, или его можно использовать как пресс-папье. Но, может быть, вы измельчите это и преобразуете во что-то совершенно новое».
У Гузика были некоторые ожидания, что ChatGPT будет хорош в создании большого количества идей (беглость), потому что это то, что делает генеративный ИИ. И она преуспела в том, что откликнулась на запрос множеством идей, которые были актуальными, полезными и ценными в глазах оценщиков.
Он был еще больше удивлен тем, насколько хорошо у него получалось генерировать оригинальные идеи, что является отличительной чертой человеческого воображения. Специалистам по оценке тестов выдаются списки распространенных ответов для запроса — тех, которые, как ожидается, будут представлены в ближайшее время. Тем не менее, искусственный интеллект попал в верхний процентиль за выдачу свежих ответов.
«На конференции мы узнали о предыдущих исследованиях GPT-3, которые были проведены год назад», — сказал Гузик. «В то время ChatGPT не набирал таких высоких баллов, как люди, по заданиям, которые требовали оригинального мышления. Теперь, с более продвинутым GPT-4, он входит в топ-1% всех человеческих реакций».
По мере ускорения развития искусственного интеллекта он ожидает, что он станет ключевым инструментом для развития мирового бизнеса и новым важным фактором региональных и национальных инноваций.
«Для меня креативность заключается в том, чтобы делать что-то по-другому», — сказал Гузик. «Одно из определений предпринимательства, которое мне нравится, заключается в том, что быть предпринимателем — значит мыслить по-другому. Таким образом, искусственный интеллект может помочь нам применить мир творческого мышления к бизнесу и инновационному процессу, и это просто завораживает меня».
Он сказал, что Колледж бизнеса UM открыт для преподавания искусственного интеллекта и включения его в курсовые работы.
«Я думаю, мы знаем, что будущее каким-то образом будет включать искусственный интеллект», — сказал Гузик. «Мы должны быть осторожны в том, как это используется, и учитывать необходимые правила и предписания. Но компании уже используют его для многих творческих задач. С точки зрения предпринимательства и региональных инноваций, это меняет правила игры».