How Do You Test the Strength of AI?

Mikhaylovskiy, Nikolay

doi:10.1007/978-3-030-52152-3_27

Cited by 3 publications

(1 citation statement)

References 7 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Mikhaylovskiy [13] propose 6 tests. Their Explanation Test requires an AI to provide an explanation and quantitative characteristics of an empirical phenomenon, given a welldefined scientific theory concerned with said phenomenon.…”

Section: Test Proposalsmentioning

confidence: 99%

The case for psychometric artificial general intelligence

McPherson

2021

Preprint

View full text Add to dashboard Cite

show abstract

Section: Test Proposalsmentioning

confidence: 99%

The case for psychometric artificial general intelligence

McPherson

2021

Preprint

View full text Add to dashboard Cite

show abstract

A Reasoning and Value Alignment Test to Assess Advanced GPT Reasoning

Mcintosh,

Liu,

Susnjak

et al. 2024

ACM Trans. Interact. Intell. Syst.

View full text Add to dashboard Cite

In response to diverse perspectives on Artificial General Intelligence (AGI), ranging from potential safety and ethical concerns to more extreme views about the threats it poses to humanity, this research presents a generic method to gauge the reasoning capabilities of Artificial Intelligence (AI) models as a foundational step in evaluating safety measures. Recognizing that AI reasoning measures cannot be wholly automated, due to factors such as cultural complexity, we conducted an extensive examination of five commercial Generative Pre-trained Transformers (GPTs), focusing on their comprehension and interpretation of culturally intricate contexts. Utilizing our novel “Reasoning and Value Alignment Test”, we assessed the GPT models’ ability to reason in complex situations and grasp local cultural subtleties. Our findings have indicated that, although the models have exhibited high levels of human-like reasoning, significant limitations remained, especially concerning the interpretation of cultural contexts. This paper also explored potential applications and use-cases of our Test, underlining its significance in AI training, ethics compliance, sensitivity auditing, and AI-driven cultural consultation. We concluded by emphasizing its broader implications in the AGI domain, highlighting the necessity for interdisciplinary approaches, wider accessibility to various GPT models, and a profound understanding of the interplay between GPT reasoning and cultural sensitivity.

show abstract

Felsefi̇ Bi̇r Sorun Olarak Yapay Zekâ

YEŞİLKAYA>

2022

Bozok Üniversitesi İlahiyat Fakültesi Dergisi

View full text Add to dashboard Cite

Bu makale yapay zekâ, algoritmalar, sanal gerçeklik ve büyük veri gibi gelişen teknolojilerin felsefeye yeni zorluklar ve fırsatlar getirdiğini savunmaktadır. Teknolojide yaşanan yapay zekâ devriminin felsefe disiplininde yeni bir paradigma doğuşunu zorunlu kıldığı tezinden yola çıkarak yapay zekanın mümkün olup olmadığına odaklanan konulardan oluşan yapay zekâ felsefesinin olanağını tarihsel süreç içerisinde temellendirmektedir. Sorunun takdiminin akabinde, ilk bölümde yapay zekaya ilişkin üç klasik tartışmaya yer verilmekte; ikinci bölümde fiziksel simge sistemi hipotezi açıklanarak insandan bağımsız zeki sistemler yapmayı tetikleyen hareket noktasına ışık tutulmaktadır. Ardından Hobbes, Leibniz ve Descartes gibi düşünürlerden hareketle yapay zekanın felsefi kökenine kısaca değinilerek Diderot’un ve Ayer’in yapay zekâ kriterleri özetlenmektedir. Yapay zekanın felsefi bir sorun olarak nitelendirildiği son bölümde ise yapay zekanın felsefeyle olan etkileşimi konu edilerek yapay zekânın temellerini, sınırlarını ve kapsamını keşfetmeye felsefe disiplininin ciddi şekilde dahil olduğu ve yapay zekanın neden felsefi bir problem olduğu tartışılmıştır.

show abstract

How Do You Test the Strength of AI?

Cited by 3 publications

References 7 publications

The case for psychometric artificial general intelligence

The case for psychometric artificial general intelligence

A Reasoning and Value Alignment Test to Assess Advanced GPT Reasoning

Felsefi̇ Bi̇r Sorun Olarak Yapay Zekâ

Contact Info

Product

Resources

About