大規模クエリ処理システムの I/O 改善。

修論の際の TeX メモなどをたくさん連ねてしまったが、そろそろ研究の話に戻ることにする。

ひとまず、Lucie / Lucie EC2 を用いての大規模クエリ処理システムでは、I/O が大変なことになっているため、ここを改善することが先決となる。アイディアとしては、クエリ毎の出力をやめ、すべて計算が終了してから merge された出力を行うというもの。これだけで出力がプロセス数まで落ちる。pthread で並列にも対応しているので、プロセス数どころかノード数まで落ちる。

クエリ毎にひとまずサンプルプログラムは作成できたので、ソルバーに加えようとしているところ。