ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

Asakusa Framework 0.10.0 Parquetの変更

2017-12-17 00:00:00 | PG(分散処理)

Asakusa Framework Advent Calendar 2017の17日目です。

2017/11/29に出たAsakusaFW 0.10.0(→リリースノート)の機能を紹介していきたいと思います。
今回はParquetのフォーマット変更についてです。

ParquetはHiveで使われるバイナリーファイルフォーマットです。
これのDECIMALに関する問題を解決する為の修正が行われたようで、それに伴い、以前のバージョンで作ったParquetファイルが正しく読み込めなくなる可能性があるそうです。もしParquetを使っていたら、結構おおごと。
(何が問題だったのか、リリースノートを見ても判然としないのですが^^;)

ちなみに自分はParquet(Hive)を使っていない(CSVの方が直接ファイルの中を確認しやすい)ので気にしてなかったんですが、AsakusaFWのHive連携ってまだ試験的機能だったんですね…。