Bình luận Respeccing Là Gì – Legislacion Ultramarina:
Sự thật về Respeccing Là Gì – Legislacion Ultramarina: là chủ đề trong content hiện tại của Vũ Đê. Đọc nội dung để biết đầy đủ nhé.
Tôi đã xem video hội nghị thượng đỉnh của Nhà phát triển Tensorflow về Thực thi háo hức trong Tensorflow và người trình bày đã giới thiệu về “Gradient Gradient”. Bây giờ tôi hiểu rằng Gradient Tape theo dõi sự khác biệt tự động xảy ra trong mô hình TF.
Đang xem: Respeccing là gì
Tôi đã cố gắng để hiểu tại sao tôi sẽ sử dụng Gradient Tape? Bất cứ ai cũng có thể giải thích cách Gradient Tape được sử dụng như một công cụ chẩn đoán? Tại sao một người nào đó sẽ sử dụng Gradient Tape thay vì chỉ trực quan hóa các trọng số.
Vì vậy, tôi nhận thấy rằng sự khác biệt tự động xảy ra với một mô hình là để tính toán độ dốc của mỗi nút – nghĩa là điều chỉnh các trọng số và độ lệch ở mỗi nút, được đưa ra một số dữ liệu. Vì vậy, đó là quá trình học tập. Nhưng tôi có ấn tượng rằng tôi thực sự có thể sử dụng một cuộc gọi tf.keras.callback.TensorBoard() để xem trực quan hóa bảng huấn luyện – vì vậy tôi có thể xem trọng số trên mỗi nút và xác định xem có bất kỳ nút chết hoặc quá bão hòa nào không.
Có phải việc sử dụng Gradient Tape chỉ để xem nếu một số gradient chuyển sang 0 hoặc thực sự lớn, v.v.? Hoặc có một số sử dụng khác của Gradient Băng?
tensorfloweager-execution
19
28 thg 12, 2018krishnab
Khi kích hoạt thực thi háo hức, Tensorflow sẽ tính toán các giá trị của tenxơ khi chúng xảy ra trong mã của bạn. Điều này có nghĩa là nó sẽ không tính toán trước một biểu đồ tĩnh mà đầu vào được đưa vào thông qua các trình giữ chỗ. Điều này có nghĩa là để sao lưu các lỗi lan truyền, bạn phải theo dõi độ dốc tính toán của mình và sau đó áp dụng các độ dốc này cho trình tối ưu hóa.
Điều này rất khác với việc chạy mà không thực hiện háo hức, nơi bạn sẽ xây dựng một biểu đồ và sau đó chỉ cần sử dụng sess.run để đánh giá tổn thất của bạn và sau đó chuyển trực tiếp điều này vào trình tối ưu hóa.
Về cơ bản, vì các thang đo được đánh giá ngay lập tức, bạn không có biểu đồ để tính toán độ dốc và do đó bạn cần một dải băng màu. Nó không quá nhiều đến nỗi nó chỉ được sử dụng để trực quan hóa, nhưng nhiều hơn là bạn không thể thực hiện một độ dốc giảm dần trong chế độ háo hức mà không có nó.
Rõ ràng, Tensorflow chỉ có thể theo dõi mọi độ dốc cho mọi tính toán trên mỗi tf.Variable. Tuy nhiên, đó có thể là một nút cổ chai hiệu suất rất lớn. Họ trưng ra một băng gradient để bạn có thể kiểm soát những khu vực nào trong mã của bạn cần thông tin về độ dốc. Lưu ý rằng trong chế độ không háo hức, điều này sẽ được xác định tĩnh dựa trên các nhánh tính toán là hậu duệ của sự mất mát của bạn nhưng trong chế độ háo hức không có biểu đồ tĩnh và vì vậy không có cách nào để biết.
Xem thêm: các phần mềm live stream pc
Đã làm việc này một thời gian, sau khi đăng câu hỏi ban đầu, tôi có cảm giác tốt hơn về nơi Gradient Tape hữu ích. Có vẻ như ứng dụng hữu ích nhất của Gradient Tap là khi bạn thiết kế một lớp tùy chỉnh trong mô hình keras của bạn – hoặc tương đương thiết kế một vòng lặp đào tạo tùy chỉnh cho mô hình của bạn.
Nếu bạn có một lớp tùy chỉnh, bạn có thể xác định chính xác cách thức các hoạt động xảy ra trong lớp đó, bao gồm cả độ dốc được tính toán và cũng tính toán mức độ tổn thất được tích lũy.
Vì vậy, băng Gradient sẽ chỉ cung cấp cho bạn quyền truy cập trực tiếp vào các gradient riêng lẻ trong lớp.
Dưới đây là một ví dụ từ cuốn sách tái bản lần thứ 2 của Aurelien Geron trên Tensorflow.
Giả sử bạn có một chức năng bạn muốn như kích hoạt của bạn.
Xem thêm: Cách Ráp Máy Tính Chơi Game Cho Người Mới, Cách Thiết Kế Một Bộ Máy Tính Chơi Game
def f(w1, w2): return 3 * w1 ** 2 + 2 * w1 * w2Bây giờ nếu bạn muốn lấy đạo hàm của hàm này với respec thành w1 và w2:
w1, w2 = tf.Variable(5.), tf.Variable(3.)with tf.GradientTape() as tape: z = f(w1, w2)gradients = tape.gradient(z,
CPU của bạn hỗ trợ các hướng dẫn rằng tệp nhị phân TensorFlow này không được biên dịch để sử dụng: AVX AVX2
Làm cách nào để tìm phiên bản nào của TensorFlow được cài đặt trong hệ thống của tôi?
Làm thế nào để in giá trị của một đối tượng Tensor trong TensorFlow?
FutureWarning: Chuyển đổi đối số thứ hai của somubdtype từ `float` sang` np.floating` không được chấp nhận
Làm thế nào để kiểm tra xem phần phụ trợ dòng máy ảnh là máy GPU hay phiên bản CPU?
Làm cách nào để kiểm tra xem máy ảnh có đang sử dụng phiên bản gpu của tenorflow không?
Trong Tensorflow, lấy tên của tất cả các Tenor trong biểu đồ
Hàm tf.nn.embpping_lookup làm gì?
TensorFlow, tại sao python là ngôn ngữ được chọn?
Vai trò của “Flatten” trong Keras
Global_step có nghĩa là gì trong Tensorflow?
ImportError: Không có mô-đun có tên là tenorflow
Ý nghĩa của buffer_size trong Dataset.map, Dataset.prefetch và Dataset.shuffle
Hiểu biểu đồ của TensorBoard (trọng lượng)
Kéo căng sigmoid và entropy chéo vs sigmoid_cross_entropy_with_logits
ImportError: Không thể nhập Python Thư viện hình ảnh (PIL) cần thiết để tải các tệp hình ảnh trên dòng chảy căng
Nhận giá trị của một số trọng lượng trong một mô hình được đào tạo bởi TensorFlow
Làm thế nào để có được kích thước của một tenxơ (trong TensorFlow) tại thời điểm xây dựng đồ thị?
Làm cách nào để cài đặt bảng điều khiển của TensorFlow?
Có phiên bản nào của TensorFlow không được biên dịch cho hướng dẫn AVX không?