Logo vi.boatexistence.com

Trình vẽ bản đồ và trình giảm bớt hoạt động như thế nào?

Mục lục:

Trình vẽ bản đồ và trình giảm bớt hoạt động như thế nào?
Trình vẽ bản đồ và trình giảm bớt hoạt động như thế nào?
Anonim

Đầu ra của Mapper hoặc lệnh ánh xạ (cặp khóa-giá trị) được nhập vào Bộ giảmBộ giảm nhận cặp khóa-giá trị từ nhiều lệnh bản đồ. Sau đó, trình giảm thiểu tổng hợp các bộ dữ liệu trung gian đó (cặp khóa-giá trị trung gian) thành một bộ nhỏ hơn gồm các bộ giá trị hoặc cặp khóa-giá trị, là đầu ra cuối cùng.

Trình vẽ bản đồ và trình giảm tốc làm gì?

Hadoop Mapper là một chức năng hoặc tác vụ được sử dụng để xử lý tất cả các bản ghi đầu vào từ một tệp và tạo đầu ra hoạt động như đầu vào cho ReducerNó tạo ra đầu ra bằng cách trả về mới các cặp khóa-giá trị. … Trình ánh xạ cũng tạo ra một số khối dữ liệu nhỏ trong khi xử lý các bản ghi đầu vào dưới dạng một cặp khóa-giá trị.

Sự khác biệt giữa ánh xạ và bộ giảm tốc là gì?

Sự khác biệt chính giữa Mapper và Hộp giảm tốc là gì? Tác vụ ánh xạ là giai đoạn xử lý đầu tiên xử lý từng bản ghi đầu vào(từ RecordReader) và tạo ra một cặp khóa-giá trị trung gian. Phương thức Reduce được gọi riêng cho từng cặp danh sách khóa / giá trị.

Làm thế nào để bạn tính toán số lượng ánh xạ và bộ giảm bớt?

Nó phụ thuộc vào số lượng lõi và bao nhiêu bộ nhớ bạn có trên mỗi nô lệ. Nói chung, một người lập bản đồ nên có từ 1 đến 1,5 lõi của bộ xử lýVì vậy, nếu bạn có 15 lõi thì một người có thể chạy 10 Người lập bản đồ trên mỗi Node. Vì vậy, nếu bạn có 100 nút dữ liệu trong Cụm Hadoop thì một người có thể chạy 1000 Người lập bản đồ trong một Cụm.

Chức năng Mapper hoạt động như thế nào?

Mapper là một chức năng xử lý dữ liệu đầu vàoTrình ánh xạ xử lý dữ liệu và tạo ra một số phần nhỏ dữ liệu. Đầu vào cho hàm ánh xạ ở dạng các cặp (khóa, giá trị), mặc dù đầu vào cho chương trình MapReduce là một tệp hoặc thư mục (được lưu trữ trong HDFS).

Đề xuất: