Hadoopの勉強をはじめました。

Hadoopはレイテンシを犠牲にIOを分散させて高速なバッチ処理を実現する技術、という程度のことしか知りません。*1

今在籍している会社分散処理やメニーコアコンピューティング、Spark,Hadoopなどをコアにやってて、エンタープライズ用のHadoop関係のFrameworkを開発・保守したり、そのSIをやっています。

ユーザーとしてFrameworkを使っている分には特にHadoopの知識は特に必要ない*2*3のですが、自分の関わってる案件でもHDFSとかの生のHadoop要素が使われ始めてきたので危機感を持って勉強し始めました。

主に勉強した内容はサブブログに連載する予定です。

yuyubu-sub.hateblo.jp

*1:この理解が正しいかどうかは不明

*2:知っとけやという話もある

*3:というかFrameworkの目的がHadoopわからないJavaエンジニアでも簡単にシステムを保守できるというものであるように思っている