KFS: K42 File System, IBM Watson Research

[07/03/09]
"K42: An Infrastructure for Operating System Research",
　Dilma Da Silva, IBM TJ Watson Research Center, et al.,
　ACM SIGOPS Operating Systems Review, Volume 40, Issue 2 (April 2006).
　http://portal.acm.org/citation.cfm?id=1131333&coll=ACM&dl=ACM&CFID=13239109&CFTOKEN=11757896
==========
[06/06/11]
FAST-OS PI Meeting and Workshop
　USENIX'06, Tuesday–Wednesday, May 30–31, 2006
　プレゼンテーション資料一部公開：
　　http://www.cs.unm.edu/~fastos/06meeting/Agenda.html
　　"High End Computing with K42", Paul H. Hargrove, Lawrence Berkeley National Lab, et al.
==========
[06/02/18]
DARPA HPCS (High Productivity Computing Systems) の IBMプロジェクトである
IBM PERCS(Productive Easy-to-use Reliable Computer Systems)の OSとして採用されている
K42について調べたところ、独自のファイルシステムが提案されていました。
(相変わらずリンクの紹介ばかりですが・・・)
関連エントリー：
　High Productivity Computing Systems(HPCS) III: IBM, 2006-01-08

K42 group at the IBM Thomas J. Watson Research Center
　http://www.research.ibm.com/K42/
　Our Mission
　"We are targeting next generation servers ranging from small-scale multiprocessors that
　 we expect will become ubiquitous, to very large-scale non-symmetric multiprocessors that
　 are becoming increasingly important in both commercial and technical environments."

K42 Project Wiki
　http://k42.ozlabs.org/Wiki/


最近出版された以下の論文で、
"Experience with K42, an open-source, Linux-compatible, scalable operating-system kernel",
　Jonathan Appavoo, et al., IBM System Journal,
　特集：Open Source Software, Volume 44, Number 2, 2005。
　http://www.research.ibm.com/journal/sj44-2.html
　The main goals of the K42 project are:
　　Scalability/performance
　　Adaptability
　　Extensibility/maintainability
　　Open-source compatibility/customizability
　をあげています (それぞれの詳細は論文を確認して下さい)。
　The following principles were adopted in the design of K42:
　　1. Use modular object-oriented code.
　　2. Avoid centralized code paths, global data structures, and global locks.
　　3. Move system functionality from the kernel to server processes and into application libraries.
　さらに K42の基本設計の解説の先を進めていくと、いくつかの重要なキーワードが出て来ます：
　　Object-oriented design
　　User-mode implementation of system services
　　Integrated performance monitoring
　　Hot swapping
　　Customizable scalable file system
　　Comprehensive scheduling
　　Lock avoidance等々
K42はマイクロカーネルを採用しており、Linuxをエミュレートしています (Linux API ABIをサポート)。
ただし、devfsに依存していたところもあり Linux 2.6.13への移行作業中とのことです(2006/01 ML)。

Customizable scalable file systemの項で、Linuxの ext2に加えて、K42の特徴に合わせた
KFS, a fine-grained adaptable file systemを紹介しています。
KFSに関する文献(どちらも K42 Webサイトで公開されています)：
　"Meta-data Snapshotting: A simple mechanism for File System Consistency",
　　Livio Soares, Orran Krieger, Dilma Da Silva,
　　International Workshop on Storage Network Architecture and Parallel I/O(SNAPI'03), 2003.
　"KFS: Exploring Flexibility in File System Design",
　　Dilma Da Silva, Livio Soares, Orran Krieger,
　　Brazilian Workshop on Operating Systems (WSO'2004), 2004.
K42はスケーラビリティをその特徴としていますから、物理的なプロセッサが増加した際のファイル
の一貫性をとそれに見合う性能を確保するための、新しいメカニズムの導入のようです。
Xenで研究中の専用クラスターファイルシステムでも検討されていたように、Log-Structured Filesystem、
CoW(Copy on Write)を意識している様子です。"Meta-data Snapshotting" という言葉からも
それが感じられます。今までと異なる発想 (特に仮想化)で、プロセッサを拡張していく場合、
ファイルシステムもそれに合わせて、パフォーマンスや信頼性向上の研究が必要とされるのでしょう。

KFSは K42のネイティブファイルシステムに採用されたそうです。
現在は、Object-based Storageへの展開も検討課題となっています (IBM System Journal,)。


K42は、カナダ トロント大学 Parallel Systems Groupで開発された Tornadoを発展させたもので、
現在も、両社は共同研究を進めています。KFS報告者の Livio Baldini Soares氏は
トロント大学の博士後期課程の学生さんです。
K42/Tornado Operating System
Parallel Systems Group, University of Toronto
　http://www.eecg.toronto.edu/~tornado/

K42グループは、以前紹介した IBM Research Hypervisorプロジェクトとも密接な関係であり、
HPCS PERCSプロジェクトでは IBM Research Hypervisor上で K42を稼働させる計画となってます。


さらに、US Department of Enerty (DOE) のOffice of Scienceが支援している
FastOS: Forum to Address Scalable Technology for runtime and Operating Systemsの
OS Research frameworksの一つにも選ばれています。
FAST-OS
　http://www.cs.unm.edu/~fastos/
　"High End Computing with K42", Paul Hargrove, LBNL
　"K42 Internals", Dilma da Silva for K42 group, IBM TJ Watson Research
　"Hypervisors", Orran Krieger, IBM Research
　FAST-OS(FastOS)については次のエントリーを参考にして下さい：
　　US DOE Office of Science: FAST-OS(FastOS) プロジェクト, 2006-02-18

Why named K42?
　http://www.eecg.toronto.edu/~tornado/email_k42name.txt
==========
関連エントリー：
　IBM Research Hypervisor, Secure Hypervisor: sHype, 2006-02-10
　Log Structuredファイルシステムに類する研究活動への関連リンク, 2006-02-06
　Xen専用クラスターファイルシステム [05/12/03], 2006-01-06