Yahoo Kembangkan Hadoop Mapreduce 2

Tweet

Lowongan Kerja SMA SMK

Generasi terbaru Apache Hadoop, implementasi piranti lunak yang memproses petabyte data, akan keluar tahun ini, kata seorang eksekutif Yahoo seperti dikutip IT News.com.

Papaioannou Todd, Wakil Presiden Arsitektur Yahoo kepada Computerworld minggu ini mengatakan perulangan Hadoop yang saat ini berlaku kurang mampu mengelola sumber daya ribuan server secara efektif dalam sebuah kluster.

Jadi pengembang sedang bekerja untuk meningkatkan penggunaan, penjadwalan dan pengelolaan sumber daya.

Misalnya, arsitektur baru itu akan mencakup ResourceManager global yang akan melacak ketersediaan server penjadwalan invarian ketika ApplicationMaster beroperasi dalam kluster dan melacak program semantik untuk pekerjaan tertentu, tulisa pengembang Yahoo Arun Murthy mdalam satu posting blog.

Menurut Papaioannou, saat ini Yahoo memberikan kontribusi sekitar 70% dari kode perulangan Hadoop dan Hadoop Distributed File System (HDFS).

Awal tahun ini, Yahoo menghentikan distribusi Hadoop-nya sendiri dan mulai bekerja erat dengan komunitas Apache Hadoop karena dapat menarik komunitas open source untuk membantu pengembangan-pengembangan, kata Papaioannou.

Bersama Apache, Hadoop menggunakan iterasi MapReduce, suatu teknik pemrograman yang berasal dari Google, untuk membangun program-program paralel.  Dengan menggunakan Hadoop, MapReduce memungkinkan melakukan pemrosesan data secara paralel.

"Generasi berikutnya HDFS akan lebih tangguh dan andal. Kami berharap akan menempatkannya bersama-sama dalam sebuah peluncuran beberapa waktu ke depan. Itu adalah uji kerja sama dengan seluruh komunitas pembangunan," kata Papaioannou.

Yahoo baru saja meluncurkan satu proyek baru yang disebut H Catalog yang adalah sebuah skema manajemen tabel metadata Hadoop.

"Itu akan membantu mengatasi sejumlah kasus berbeda-beda.  Program ini baru saja makuk ke versi Apache minggu lalu."

Source

Lowongan Kerja SMA SMK