Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations

Lee, Honglak; Grosse, Roger; Ranganath, Rajesh; Ng, Andrew Y.

doi:10.1145/1553374.1553453

Cited by 1,918 publications

(1,354 citation statements)

References 18 publications

Supporting

Mentioning

1,292

Contrasting

Unclassified

Order By: Relevance

“…It was shown to be much more computationally efficient than the sparse DBN. A promising future direction of this research is to extend the hierarchical K-means algorithm to deep models for learning object parts for computer vision, like the convolutional DBN [17].…”

Section: Discussionmentioning

confidence: 99%

Hierarchical K-Means Algorithm for Modeling Visual Area V2 Neurons

Zhang

2012

Neural Information Processing

View full text Add to dashboard Cite

Abstract.Computational studies about the properties of the receptive fields of neurons in the cortical visual pathway of mammals are abundant in the literature but most addressed neurons in the primary visual area (V1). Recently, the sparse deep belief network (DBN) was proposed to model the response properties of neurons in the V2 area. By investigating the factors that contribute to the success of the model, we find that a simple algorithm for data clustering, K-means algorithm can be stacked into a hierarchy to reproduce these properties of V2 neurons, too. In addition, it is computationally much more efficient than the sparse DBN.

show abstract

Section: Discussionmentioning

confidence: 99%

Hierarchical K-Means Algorithm for Modeling Visual Area V2 Neurons

Zhang

2012

Neural Information Processing

View full text Add to dashboard Cite

show abstract

“…Các mô hình học sâu có kiến trúc tương tự mạng nơron nhưng dựa trên cách tiếp cận khác, với ý tưởng cơ bản là dữ liệu tại mỗi lớp sẽ có mức độ trừu tượng hóa (khái quát) cao hơn bằng cách tổ hợp các dữ liệu có mức trừu tượng hóa thấp ở lớp trước [3]. Hình 4 biểu diễn một mô hình học sâu tiêu biểu [9] sử dụng trong nhận dạng mặt người, trong đó dữ liệu đầu vào của mạng có thể là dữ liệu ở dạng thô nhất là các điểm ảnh RGB (thậm chí không cần qua tiền xử lý). Các đặc trưng được tổ hợp và tạo thành các chi tiết nhỏ ở lớp ẩn đầu tiên, sau đó tiếp tục được tái tạo và tổ hợp mức chi tiết lớn ở lớp ẩn thứ hai và cuối cùng các hình ảnh đặc trưng của toàn bộ khuôn mặt ở lớp ẩn thứ 3.…”

Section: Hình 5 Cấu Trúc Dnn 3 Lớp ẩN Cho Bài Toán Dự Báo Lượng Nướcunclassified

Deep Learning: Ứng Dụng Cho Dự Báo Lưu Lượng Nước Đến Hồ Chứa Hòa Bình

Nam¹,

Tùng²

2017

Fair - Nghiên Cứu Cơ Bản Và Ứng Dụng Công Nghệ Thông Tin - 2016

View full text Add to dashboard Cite

Từ khóa-Deep learning, mạng nơron, máy véctơ hỗ trợ, rừng ngẫu nhiên, LASSO, khai phá dữ liệu, học máy. I. ĐẶT VẤN ĐỀHồ chứa Hòa Bình là hồ chứa lớn nhất Việt Nam nằm trên dòng sông Đà, cách Hà Nội khoảng 70km, hệ thống thủy điện của hồ Hòa Bình được đưa vào vận hành từ năm 1990 giữ vai trò quan trọng trong kiểm soát lũ, hạn hán và cung cấp điện cho đồng bằng châu thổ sông Hồng. Dung tích hồ là 9.6*10 9 m 3 với khả năng xả lớn nhất đạt 2,400 m 3 /s. Điều tiết nước trong mùa lũ luôn là bài toán quan trọng trong vận hành hồ chứa, việc dự báo chính xác lưu lượng nước đổ về hồ chứa trước một khoảng thời gian chủ động luôn là thách thức lớn đối với nhà quản lý trong công tác vận hành tổ hợp công trình tại thủy điện Hòa Bình.Dự báo chính xác lưu lượng là yêu cầu chủ yếu trong việc xây dựng thành công một hệ thống quản lý và giảm nhẹ ảnh hưởng của lũ, an toàn hồ đập trong một lưu vực sông. Các phương pháp học máy tiếp cận bài toán dự báo lưu lượng nước đổ về hồ chứa đã được nghiên cứu và đạt được nhiều kết quả khả quan [17,18,19]. Mạng nơron (neural) nhân tạo (ANN) được chứng minh bằng thực nghiệm cho thấy là một trong các phương pháp hiệu quả nhất và được dùng nhiều trong tính toán dự báo dạng chuỗi thời gian đối với bài toán thuộc dạng này [18,[20][21][22][23][24]. Trong những năm gần đây, phương pháp Deep learning (Học sâu) dựa trên nền tảng mạng nơron nhân tạo đang phát triển rất nhanh và thu hút đông đảo cộng đồng nghiên cứu tham gia. Trong nghiên cứu này, phương pháp Deep learning được nghiên cứu để phân tích, dự báo trung hạn lưu lượng nước đổ về hồ Hòa Bình trước 10 ngày, từ đó trợ giúp công tác hỗ trợ ra quyết định trong điều hành hồ chứa; phương pháp Deep learning cũng có thể mở rộng với các bài toán dự báo lưu lượng tại các hồ chứa khác của Việt Nam phục vụ phòng, tránh và giảm nhẹ thiên tai.Bài toán dự báo lượng nước đổ về hồ Hòa Bình thường dựa trên vào các dữ liệu quan sát được trong quá khứ và các yếu tố tác động đến lưu lượng nước đổ về hồ. Dự báo lưu lượng nước sẽ chịu tác động của nhiều yếu tố ảnh hưởng đến kết quả dự báo như mưa, dòng chảy, địa hình, thảm phủ thực vật, độ ẩm, khí hậu và các tác động của con người trên lưu vực,… Trong những yếu tố đó thì mưa đóng vai trò quan trọng nhất, còn các yếu tố về địa chất, thổ nhưỡng, thảm phủ thực vật ít thay đổi, nghiên cứu này chưa xét đến yếu tố khí hậu và tác động của con người làm thay đổi lưu vực. Chúng tôi tập trung nghiên cứu vào xây dựng mô hình Deep learning cải thiện chất lượng bài toán dự báo lưu lượng nước đến hồ Hòa Bình dựa trên số liệu mưa quan trắc được và các quan sát lưu lượng nước về hồ trong quá khứ.Các số liệu quan trắc về lượng mưa là những yếu tố quan trọng ảnh hưởng trực tiếp đến chất lượng dự báo. Hình 1 mô tả quá trình thu thập số liệu quan trắc theo chuỗi thời gian, thông thường ta xét trong 1 khoảng thời gian cố định (cửa sổ trượt) có dữ liệu quan sát phản ánh đủ những kịch bản dự báo. Những dữ liệu này được gọi chung là tập dữ liệu huấn luyện hay dữ liệu để học mô hình dự báo. Ta ký hiệu tập dữ liệu đầu vào này là *( ) ( ) ( ), ...

show abstract

“…Lee et al [12] propose convolutional DBNs (deep belief networks), which implements convolution and pooling in the framework of DBNs. Training them in an unsupervised manner, they visualize what features are learned by the networks.…”

Section: Visualization Of Convolutional Networkmentioning

confidence: 99%

“…Thus, it has been recognized that the deep neural networks are effective in semisupervised learning settings, i.e., the case where there are a large number of unlabeled data and a few labeled data. Indeed, in the early studies of feature learning by deep networks [11,12], the main focus is on unsupervised learning of image features. It was discovered that the features learned by deep networks tend to be similar in lower layers even for different training data (e.g., faces, cars, etc.…”

Section: Transfer Learning By Deep Neural Networkmentioning

confidence: 99%

See 1 more Smart Citation

Understanding Convolutional Neural Networks in Terms of Category-Level Attributes

Ozeki

Okatani

2015

Computer Vision -- ACCV 2014

View full text Add to dashboard Cite

Abstract. It has been recently reported that convolutional neural networks (CNNs) show good performances in many image recognition tasks. They significantly outperform the previous approaches that are not based on neural networks particularly for object category recognition. These performances are arguably owing to their ability of discovering better image features for recognition tasks through learning, resulting in the acquisition of better internal representations of the inputs. However, in spite of the good performances, it remains an open question why CNNs work so well and/or how they can learn such good representations. In this study, we conjecture that the learned representation can be interpreted as category-level attributes that have good properties. We conducted several experiments by using the dataset AwA (Animals with Attributes) and a CNN trained for ILSVRC-2012 in a fully supervised setting to examine this conjecture. We report that there exist units in the CNN that can predict some of the 85 semantic attributes fairly accurately, along with a detailed observation that this is true only for visual attributes and not for non-visual ones. It is more natural to think that the CNN may discover not only semantic attributes but non-semantic ones (or ones that are difficult to represent as a word). To explore this possibility, we perform zero-shot learning by regarding the activation pattern of upper layers as attributes describing the categories. The result shows that it outperforms the state-of-the-art with a significant margin.

show abstract

Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations

Cited by 1,918 publications

References 18 publications

Hierarchical K-Means Algorithm for Modeling Visual Area V2 Neurons

Hierarchical K-Means Algorithm for Modeling Visual Area V2 Neurons

Deep Learning: Ứng Dụng Cho Dự Báo Lưu Lượng Nước Đến Hồ Chứa Hòa Bình

Understanding Convolutional Neural Networks in Terms of Category-Level Attributes

Contact Info

Product

Resources

About