This paper presents an automatic building extraction approach using LiDAR data and aerial photographs from a multi-sensor system positioned at the same platform. The automatic building extraction approach consists of segmentation, analysis and classification steps based on object-based image analysis. The chessboard, contrast split and multi-resolution segmentation methods were used in the segmentation step. The determined object primitives in segmentation, such as scale parameter, shape, completeness, brightness, and statistical parameters, were used to determine threshold values for classification in the analysis step. The rule-based classification was carried out with defined decision rules based on determined object primitives and fuzzy rules. In this study, hierarchical classification was preferred. First, the vegetation and ground classes were generated; the building class was then extracted. The NDVI, slope and Hough images were generated and used to avoid confusing the building class with other classes. The intensity images generated from the LiDAR data and morphological operations were utilized to improve the accuracy of the building class. The proposed approach achieved an overall accuracy of approximately 93% for the target class in a suburban neighborhood, which was the study area. Moreover, completeness (96.73%) and correctness (95.02%) analyses were performed by comparing the automatically extracted buildings and reference data. Keywords: LiDAR; Building Extraction; Hough; NDVI; Segmentation; Classification.Automatic building extraction using LiDAR and aerial photographs.Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 19, n o 2, p.153-171, abr-jun, 2013.1 5 4 RESUMO Este artigo apresenta uma abordagem para a extração automática de edificações usando dados LiDAR e fotografias aéreas de um sistema com múltiplos sensores posicionados na mesma plataforma. A abordagem de extração automática de edificações é composta por etapas de segmentação, análise e classificação, baseadas em análise de imagens com base em objetos. Na etapa de segmentação foram usados os métodos Chessboard, fatiamento do constraste e multirresolução. As primitivas de segmentação, como escala, forma, integridade, brilho e parâmetros estatísticos, foram usadas para determinar os valores-limite para a classificação na etapa de análise. A classificação baseada em regras foi realizada com regras de decisão definidos com base nas primitivas de determinado objeto e regras fuzzy. Neste estudo, preferiu-se a classificação hierárquica. Primeiramente, foram geradas as classes de vegetação e solo e então foi extraída a classe de edifícações. O NDVI, declividade, e as imagens Hough foram gerados e usados para evitar confundir a classe edificações com outras classes. As imagens de intensidade geradas a partir dos dados LiDAR e operações morfológicas foram utilizados para melhorar a precisão da classe de edifícações. A abordagem proposta alcançou uma exatidão de aproximadamente 93% para a classe alvo em um bairro suburbano, que era a área de ...