Measuring Machine Intelligence Through Visual Question Answering

Zitnick, C. Lawrence; Agrawal, Aishwarya; Antol, Stanislaw; Batra, Dhruv; Parikh, Devi

doi:10.1609/aimag.v37i1.2647

Cited by 23 publications

(14 citation statements)

References 30 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…It seems quite logical to establish a new methodology for assessing the achievements in AI by taking into account both the experience of the last seventy years and the newer technological capabilities. In fact, the first attempts were made right after the 2014 Turing test competition in London [16][17][18][19][20][21][22]. However, they are all lacking a practical implementation across the entire Turing continuum, outlined in Fig.…”

Section: Post-turing Methodology Principles For the Study Of Aimentioning

confidence: 99%

Post-turing Methodology: Breaking the Wall on the Way to Artificial General Intelligence

Efimov¹

2020

Artificial General Intelligence

View full text Add to dashboard Cite

This article offers comprehensive criticism of the Turing test and develops quality criteria for new artificial general intelligence (AGI) assessment tests. It is shown that the prerequisites A. Turing drew upon when reducing personality and human consciousness to "suitable branches of thought" reflected the engineering level of his time. In fact, the Turing "imitation game" employed only symbolic communication and ignored the physical world. This paper suggests that by restricting thinking ability to symbolic systems alone Turing unknowingly constructed "the wall" that excludes any possibility of transition from a complex observable phenomenon to an abstract image or concept. It is, therefore, sensible to factor in new requirements for AI (artificial intelligence) maturity assessment when approaching the Turing test. Such AI must support all forms of communication with a human being, and it should be able to comprehend abstract images and specify concepts as well as participate in social practices.

show abstract

Section: Post-turing Methodology Principles For the Study Of Aimentioning

confidence: 99%

Post-turing Methodology: Breaking the Wall on the Way to Artificial General Intelligence

Efimov¹

2020

Artificial General Intelligence

View full text Add to dashboard Cite

show abstract

“…Ярким примером тестов на невербальное взаимодействие в виртуальном мире являются тесты на распознавание образов и на распознавание и синтез человеческой речи. Искусственный интеллект в данном случае никак не изменяет физический мир, никакого смыслового, вербального взаимодействия при этом не происходит даже в случае распознавания речи, поскольку машина лишь верно определяет сами слова, но не их смысл [16].…”

Section: рисунок 1 пространство тьюрингоподобных тестовunclassified

“…Стена, воздвигнутая Тьюрингом и отделяющая испытателя и испытуемого (человека или робота), по сути стимулирует человека оценивать искусственный интеллект в сравнении с собой, порождая избыточный технологический антропоморфизм. Создание искусственного интеллекта, рассуждающего подобно человеку, общающегося подобно человеку, возможно, является не самым эффективным способом ответить на вопрос А. Тьюринга о мышлении машин [16].…”

Section: предлагаемые принципы посттьюринговой методологии исследований искусственногоunclassified

Post-Turing Methodology: Destruction of the Wall on the Way to General Artificial Intelligence

Efimov¹

2020

I.I.I

View full text Add to dashboard Cite

В данной статье предпринята попытка комплексной критики теста Тьюринга и выработки критериев качества новых тестов для оценки искусственного интеллекта. Показано, что предпосылки редуцирования личности и сознания человека к определенным интеллектуальным способностям, использовавшиеся А. Тьюрингом, отражали уровень развития техники того периода. В то же время демонстрируется, что взаимодействие между человеком и машиной можно рассматривать в четырех вариантах: вербальное взаимодействие в физическом мире, невербальное взаимодействие в физическом мире, невербальное взаимодействие в виртуальном мире, вербальное виртуальное взаимодействие. Тест Тьюринга фактически описывает только последний вариант. Чисто вербальное общение между субъектами, подразумевающее мышление только с использованием символьных систем,это «стена», которая исключает возможность перехода от сложных наблюдаемых явлений к абстрактному образу или понятию. Но в первые десятилетия развития компьютерной техники тест Тьюринга был простым и понятным образцом идеала программирования, соответствовал уровню технических возможностей того времени. В 2010-х гг. в программировании систем искусственного интеллекта произошли качественные изменения. Во-первых, тест Тьюринга был формально пройден без создания полного искусственного интеллекта. Сегодня машина лучше человека обращается с символьными структурами, однако не обладает возможностью сопоставлять их с реальным миром. Во-вторых, появились новые программные инструменты (нейронные сети глубокого обучения), которые позволяют частично абстрагировать когнитивные процессы (распознавание речи, лица, некоторых образов), но не формулировать новые понятия. Это дает возможность выдвинуть новые требования к тестовой оценке искусственного интеллекта: он должен поддерживать все формы общения с человеком, абстрагировать образы и конкретизировать понятия, а также участвовать в социальных практиках. Логичным представляется сравнение искусственного интеллекта с возможностями детей разного возраста. При этом антропоморфность робота сама по себе не будет показателем создания искусственного интеллекта.

show abstract

“…Даже сборка программы в единый дееспособный код осуществляется с помощью программ-компиляторов. Самообучение и самосовершенствование программ идут иначе, чем обучение человека, хотя бы потому, что информация в компьютере стандартизирована на порядок лучше, чем в человеческом общении, и процессы её копирования идут чрезвычайно быстро -машины учатся опознавать изображения по большим каталогам [39]. Но необходимость сохранения целостности набора программ потребует какого-то эквивалента самоконтроля.…”

Section: Grani 22(11) 2019unclassified

The emergence of artificial Intelligence through the prism of Haeckel’s biogenetic law

Бескаравайний¹

2019

STAG

View full text Add to dashboard Cite

The article discusses the analogies between the formation of humanity as a collective subject, and the modern process of forming artificial intelligence, which should also have the features of a collective subject. It is shown that attempts to rely solely on the study of individual intelligence are unproductive. The isomorphism of anthroposociogenesis and the creation of AI is motivated by the following: AI is created by human civilization - therefore, its thinking will reproduce both the features of individual intelligence and the features of civilization that ensure the socialization of the individual. The problem of copying consciousness is difficult to analyze, therefore, the formation of subjectivity is considered. A technosubject is a collection of devices and programs that can determine their own future. It has been established that the bio-genetic law acts as a vector for the evolutionary variability of technical devices and sets the boundary conditions that must be met in the process of becoming a techno-subject. Copying the process of the emergence of the human mind and at the same time the practice of society in the accumulation and processing of information shows the path of development. Since now all functional mechanisms of the development of the mind and consciousness have not been revealed, it is necessary to correlate the new, computer mind with the form, with the external manifestations of the previous, natural, intelligence. There are also differences between these processes: 1) in comparison with the formation of human intelligence, the formation of AI is more reflexive, conscious, 2) the fundamentally different physicality of AI, due to the transfer of a large amount of information between machines, 3) the formation of techno-subject can be completely different in speed, since the learning ability of neural networks can exceed the learning ability of a person. Now, technological structures for storing information that we perceive in a socio-technological context can become elements of the body of a new subject. The Internet of things shows the possibility of a fundamentally new physicality, and communications in it are equivalent to unconscious biochemical processes in the human body. At the same time, copying the forms of the human body is redundant, but copying of manipulators and robot operators that can interact with the infrastructure created by man is necessary. It is shown that the Internet as a whole, as a single system, in modern conditions cannot become an AI carrier, it is more a medium than a subject. The carriers of AI should be the structural units of the technosphere, which will become the spokesmen of those contradictions that are sources of development. Probably, these will be technocenoses that will strive to achieve autotrophy, which will require extremely clear goal-setting from them, and, as a result, will lead them to the status of a techno-subject.

show abstract

Measuring Machine Intelligence Through Visual Question Answering

Cited by 23 publications

References 30 publications

Post-turing Methodology: Breaking the Wall on the Way to Artificial General Intelligence

Post-turing Methodology: Breaking the Wall on the Way to Artificial General Intelligence

Post-Turing Methodology: Destruction of the Wall on the Way to General Artificial Intelligence

The emergence of artificial Intelligence through the prism of Haeckel’s biogenetic law

Contact Info

Product

Resources

About