A pandemia do novo coronavírus tem sobrecarregado os sistemas de saúde ao limite da capacidade de atendimento. Nosso objetivo foi avaliar a eficácia de um chatbot desenvolvido para triagem de pacientes, antes de teleconsulta, para identificar sintomas de COVID-19. Sintomas informados no diálogo foram comparados com os relatados aos médicos, em um serviço de urgência. Em 96 pacientes, dispneia foi o sintoma mais frequente (16,6%) e o único que mostrou concordância moderada com a história registrada em prontuário eletrônico (Kappa=0,605). Concluindo, a tecnologia mostrou-se útil para detectar um dos sintomas graves da COVID-19, mas não foi possível evidenciar sua eficácia em relação aos sintomas menores.