Counter Turing Test (CT2): AI-Generated Text Detection is Not as Easy as You May Think - Introducing AI Detectability Index (ADI)

Chakraborty, Megha; Tonmoy, S.M Towhidul Islam; Zaman, S M Mehedi; Gautam, Shreya; Kumar, Tanay; Sharma, Krish; Barman, Niyar; Gupta, Chandan; Jain, Vinija; Chadha, Aman; Sheth, Amit; Das, Amitava

doi:10.18653/v1/2023.emnlp-main.136

Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing 2023

DOI: 10.18653/v1/2023.emnlp-main.136

|View full text |Cite

Counter Turing Test (CT2): AI-Generated Text Detection is Not as Easy as You May Think - Introducing AI Detectability Index (ADI)

Megha Chakraborty,

S.M Towhidul Islam Tonmoy,

S M Mehedi Zaman

et al.

Abstract: References Abien Fred Agarap. 2019. Deep learning using rectified linear units (relu) arxiv: 1803.08375. Rishi Bommasani, Kevin Klyman, Daniel Zhang, and Percy Liang. 2023. Do foundation model providers comply with the eu ai act? Dennis D. Boos and Cavell Brownie. 1989. Bootstrap methods for testing homogeneity of variances. Technometrics, 31(1):69-82.

Help me understand this report

Search citation statements

Order By: Relevance

Paper Sections

Select...

Citation Types

Supporting

Mentioning

Contrasting

Year Published

2024

Publication Types

Select...

Article1

Relationship

Self Cite0

Independent1

Authors

Journals

Cited by 1 publication

References 13 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

Detection Methods for AI-generated Texts: Overview and Architectural Design

Pröhl,

Mohrhardt,

Förster

et al. 2024

HMD

View full text Add to dashboard Cite

ZusammenfassungDurch Transformer-basierte KI-Systeme wurden große Fortschritte, u. a. in den Bereichen Textverarbeitung und -verständnis, erreicht. Diese Deep-Learning-Modelle ermöglichen das Generieren von Texten und bilden die Grundlage moderner Sprachmodelle. Die rasante Entwicklung der letzten Jahre hat große Sprachmodelle, wie ChatGPT, Bard oder VICUNA-13B, hervorgebracht.Der Beitrag präsentiert die Entwicklung der Sprachmodelle hin zu den großen Sprachmodellen. Durch die fortschreitende Entwicklung der Sprachmodelle ergeben sich vielfältige Möglichkeiten und Probleme, weshalb eine Erkennung von LLM-generierten Texten wichtig ist. Dieser Artikel stellt unterschiedliche Ansätze bekannter Erkennungsverfahren dar. Neben statistischen Klassifizierungsverfahren werden auch Deep-Learning-basierte und Zero-Shot-Verfahren besprochen. Daneben werden ein kompressionsorientierter Ansatz vorgestellt sowie Kennzeichnungsverfahren präsentiert. Nach dem tabellarischen Vergleich der in der Literatur vorgestellten Verfahren werden implementierte Softwaredetektoren präsentiert. Im Anschluss werden Überlegungen zum Entwurf eines Trainingsdatensatzes aufgezeigt, wodurch die Grundlage für einen eigenen Ansatz zur Erkennung von KI-generierten Texten in deutscher Sprache geschaffen wird. Darüber hinaus werden die Architektur und das Design des eigenen Ansatzes, dem KI-Inhalte-Detektor, vorgestellt und beschrieben sowie die Limitationen aufgezeigt.

show abstract

Detection Methods for AI-generated Texts: Overview and Architectural Design

Pröhl,

Mohrhardt,

Förster

et al. 2024

HMD

View full text Add to dashboard Cite

show abstract

scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.

Contact Info

hi@scite.ai

10624 S. Eastern Ave., Ste. A-614

Henderson, NV 89052, USA

Blog Terms and Conditions API Terms Privacy Policy Contact Cookie Preferences Do Not Sell or Share My Personal Information

Made with 💙 for researchers

Part of the Research Solutions Family.

Counter Turing Test (CT2): AI-Generated Text Detection is Not as Easy as You May Think - Introducing AI Detectability Index (ADI)

Cited by 1 publication

References 13 publications

Detection Methods for AI-generated Texts: Overview and Architectural Design

Detection Methods for AI-generated Texts: Overview and Architectural Design

Contact Info

Product

Resources

About