Yabu.log

ITなどの雑記

Distributed System

Hadoopの勉強をはじめました。

Hadoopはレイテンシを犠牲にIOを分散させて高速なバッチ処理を実現する技術、という程度のことしか知りません。*1 今在籍している会社分散処理やメニーコアコンピューティング、Spark,Hadoopなどをコアにやってて、エンタープライズ用のHadoop関係のFramewor…

分散システムにおけるイベントの前後関係と論理時計・ベクトル時計について

分散システムでは時刻同期はとらずに順序同期だけをとっている、という話はよく聞きます。順序同期とはいったいどのような仕組みなのでしょうか 前提 各ノード間の処理の順序を適正に処理したい。 個々のサーバーが原子時計などの十分に正確な時計を持ってい…

デッドロック検出におけるknotとcycleの違いについて

分散処理本読書会で度々話題になっているknotについて簡単にまとめました。 分散処理本でknotの出典としている論文「Some Deadlock Properties of Computer Systems」をknotの説明の箇所より少し後まで読み終えたため、knotについてわかったこと、つまりcycl…

分散処理本第39回に参加

恒例の分散本(Distributed Computing: Principles, Algorithms, and Systems)を読む勉強会です。 分散システムでのデッドロック検知はサイト間での検知を如何にとるか、と言うのがポイントだと思います。 今回勉強した2種類のアルゴリズムではサイト間でメッ…

分散処理本第38回に参加

Distributed Computing: Principles, Algorithms, and Systemsを読む勉強会です。やはり難しいので少し予習していきました。アルゴリズムの分類までは一応軽く読んで概要をつかんでから臨みました 分散システムに置けるデッドロックの検出アルゴリズムの分類…

分散処理本第37回に参加

Distributed Computing: Principles, Algorithms, and Systems作者: Ajay D. Kshemkalyani,Mukesh Singhal出版社/メーカー: Cambridge University Press発売日: 2011/03/03メディア: ペーパーバックこの商品を含むブログを見る 本書の概要 CHAPTER 10 Deadlo…