Migrate from MySQL (cockroachlabs.com)
の和訳を以下に示す。
MySQLからの移行
このページでは、基本的な考慮事項について説明し、MySQL から CockroachDB にデータを移行する基本的な例を示します。このページの情報は、データベースを CockroachDB に移行するための大まかなフェーズと考慮事項について説明している「移行の概要」を読んでいることを前提としています。
このページのMySQL移行例は、MOLTツールを使用してMySQLスキーマを更新し、データの初期ロードを実行し、データを検証する方法を示しています。これらの手順は、完全な移行の準備をするときに不可欠です。
先端：
CockroachDBへの移行についてサポートが必要な場合は、営業チームにお問い合わせください。
構文の違い
MySQLとCockroachDBの構文の違いにより、アプリケーションの変更が必要になる可能性があります。移行の概要の一般的な考慮事項に加えて、移行計画を作成する際には、次の MySQL 固有の情報も考慮してください。
スキーマ変換ツールを使用すると、自動変換できないMySQL構文がサマリーレポートに表示されます。これらには、次のものが含まれる場合があります。
文字列の大文字と小文字の区別
文字列は、MySQLでは大文字と小文字が区別されず、CockroachDBでは大文字と小文字が区別されます。CockroachDBから期待する結果を得るには、MySQLデータを編集する必要があるかもしれません。たとえば、MySQLで文字列比較を行っていた場合、CockroachDBで動作するように変更する必要があります。
MySQL での文字列の大文字と小文字の区別の詳細については、MySQL ドキュメントの「文字列検索での大文字と小文字の区別」を参照してください。CockroachDB 文字列の詳細については、「STRING」を参照してください。
識別子の大文字と小文字の区別
識別子は、MySQLでは大文字と小文字が区別され、CockroachDBでは大文字と小文字が区別されません。スキーマ変換ツールを使用する場合は、識別子を二重引用符で囲んで大文字と小文字を区別するか、小文字に変換して識別子を大文字と小文字を区別しないようにすることができます。
AUTO_INCREMENT属性
連続したカラム値を作成する MySQL AUTO_INCREMENT 属性は、CockroachDB ではサポートされていません。スキーマ変換ツールを使用する場合、 は シーケンス、 gen_random_uuid() は値、 unique_rowid() は一意の値を使用するように変換できます。Cockroach Labs では、シーケンスを使用して主キー列を定義することはお勧めしません。詳細については、「一意の ID のベスト プラクティス」を参照してください。AUTO_INCREMENTUUIDINT8
手記：
スキーマ変換中にカラムタイプを変更すると、MOLT Verifyはデータ検証中にタイプの不一致を識別します。これは正常な動作です。
ENUM種類
MySQLの型は、テーブルの列で定義されます。CockroachDBでは、ENUMはスタンドアロン型です。スキーマ変換ツールを使用する場合は、定義の重複を排除するか、列ごとに個別の型を作成できます。ENUMENUM
TINYINT種類
TINYINTデータ型は CockroachDB ではサポートされていません。スキーマ変換ツールは、列を自動的に INT2 () に変換します。TINYINTSMALLINT
地理空間タイプ
MySQL ジオメトリ タイプは、スキーマ変換ツールによって CockroachDB 地理空間タイプに変換されません。これらは、CockroachDBの対応する型に手動で変換する必要があります。
FIELD機能
MYSQL 関数は CockroachDB ではサポートされていません。代わりに、配列内で最初に出現する要素のインデックスを返す array_position 関数を使用できます。FIELD
使用例:
SELECT array_position(ARRAY[4,1,3,2],1);
array_position
------------------
2
(1 row)
要素が見つからない場合、MySQL は 0 を返しますが、CockroachDB は .したがって、関数を含むステートメントで句を使用している場合、要素が見つからない場合でも並べ替えが適用されることに注意してください。回避策として、COALESCE 演算子を使用できます。NULLORDER BYarray_position
SELECT * FROM table_a ORDER BY COALESCE(array_position(ARRAY[4,1,3,2],5),999);
MySQLデータの読み込み
次のいずれかの方法を使用して、MySQL データを CockroachDB に移行できます。
IMPORT INTO を使用して、ユーザーファイルまたはクラウドストレージを介して保存された CSV、TSV、または Avro データを CockroachDB 上の既存のテーブルに移行します。このオプションでは、最高のスループットが得られますが、インポート速度を達成するにはテーブルをオフラインにする必要があります。
先端：
CockroachDB でのインポートパフォーマンスを最適化するためのベストプラクティスについては、「インポートパフォーマンスのベストプラクティス」を参照してください。
サードパーティのデータ移行ツール(AWS DMS、Qlik、Striimなど)を使用してデータをロードします。
次の例では、を使用して初期データ・ロードを実行します。IMPORT INTO
例: CockroachDB への移行world
次の手順では、移行中のスキーマの変換、データの初期読み込みの実行、およびデータの整合性の検証を示します。
完全移行のコンテキストでは、これらの手順により、MySQLデータをCockroachDBに適切に移行し、アプリケーションクエリをクラスタに対してテストできます。詳細については、「移行の概要」を参照してください。
始める前に
この例では、MySQL ワールドデータセットを使用し、スキーマとデータをサーバーレスクラスターに移行する方法を示します。次の手順に従うには、次の手順を実行します。
ワールド データ セットをダウンロードします。
MySQLインスタンスにデータベースを作成し、ダウンロードしたファイルのパスを指定します。world
mysqlsh -uroot --sql --file {path}/world-db/world.sql
スキーマ変換ツールへのアクセスとサーバーレスクラスターの作成に使用する無料のクラウドアカウントを作成します。
先端：
CockroachDB セルフホストデータベースに移行する場合は、変換されたスキーマをスキーマ変換ツールからエクスポートし、Cockroach SQL でステートメントを実行するか、Alembic、Flyway、Liquibase などのサードパーティのスキーマ移行ツールを使用できます。
ステップ1。MySQLスキーマの変換
スキーマ変換ツールを使用して、CockroachDB との互換性のためにスキーマを変換します。スキーマには、worldcitycountrycountrylanguage
次の mysqldump コマンドを使用して MySQL スキーマをダンプします。world
mysqldump -uroot --no-data world > world_schema.sql
Cloud Console でスキーマ変換ツールを開き、新しい MySQL スキーマを追加します。
AUTO_INCREMENT変換オプション」で、「unique_rowid()」オプションを選択します。これにより、MySQL 型と を持つテーブル内の列が、unique_rowid() によって生成されたデフォルト値を持つ CockroachDB INT8 型に変換されます。このオプションのコンテキストについては、AUTO_INCREMENT 属性を参照してください。IDcityintAUTO_INCREMENT
と オプションは、それぞれ異なるユースケースで推奨されます。この例では、このオプションを選択すると、ソース列とターゲット列の両方が整数型になるため、後の手順でデータをロードするのがより簡単になります。UUIDunique_rowid()unique_rowid()
スキーマ変換ツールにworld_schema.sqlをアップロードします。
変換が完了したら、結果を確認します。概要レポートには、エラーがないことが示されます。これは、スキーマを CockroachDB に移行する準備ができていることを意味します。
先端：
また、MySQLデータベースの認証情報を追加して、スキーマ変換ツールがMySQLデータベースから直接スキーマを取得するようにすることもできます。
この例では、サーバーレスクラスターに直接移行します。 CockroachDB セルフホストデータベースに移行する場合は、変換されたスキーマをスキーマ変換ツールからエクスポートし、Cockroach SQL でステートメントを実行するか、Alembic、Flyway、Liquibase などのサードパーティのスキーマ移行ツールを使用できます。
変換されたスキーマを移行する前に、「ステートメント」タブをクリックして「ステートメント」リストを表示します。ステートメントまで下にスクロールし、ステートメントを編集して、列に照合順序 () を追加します。CREATE TABLE countrylanguageCOLLATE en_USlanguage
CREATE TABLE countrylanguage (
countrycode VARCHAR(3) DEFAULT '' NOT NULL,
language VARCHAR(30) COLLATE en_US DEFAULT '' NOT NULL,
isofficial countrylanguage_isofficial_enum
DEFAULT 'F'
NOT NULL,
percentage DECIMAL(4,1) DEFAULT '0.0' NOT NULL,
PRIMARY KEY (countrycode, language),
INDEX countrycode (countrycode),
CONSTRAINT countrylanguage_ibfk_1
FOREIGN KEY (countrycode) REFERENCES country (code)
)
「保存」をクリックします。
これは、照合順序の不一致によるデータ検証の失敗を防ぐための回避策です。詳細については、MOLT Verify のドキュメントを参照してください。
[Migrate Schema] をクリックして、変換されたスキーマで新しいサーバーレスクラスターを作成します。データベースに という名前を付けます。world
このデータベースは、Cloud Console の [データベース] ページで確認できます。
CockroachDB クラスターへの SQL シェルを開きます。コマンドを見つけるには、Cloud Console で [接続] ダイアログを開き、データベースと [CockroachDB クライアント] オプションを選択します。次のようになります。worldworld
cockroach sql --url "postgresql://{username}@{hostname}:{port}/world?sslmode=verify-full"
大規模なインポートの場合、Cockroach Labs では、データを読み込む前にインデックスを削除し、後で再作成することをお勧めします。これにより、インポートの進行状況の可視性が向上し、各ステップを個別に再試行できるようになります。
データベースのインデックスを表示します。world
SHOW INDEXES FROM DATABASE world;
とテーブルの外部キーインデックスは、今のところ削除できます。countrycodecitycountrylanguage
table_name | index_name | index_schema | non_unique | seq_in_index | column_name | definition | direction | storing | implicit | visible
---------------------------------+-------------------------------------------------+--------------+------------+--------------+-----------------+-----------------+-----------+---------+----------+----------
...
city | countrycode | public | t | 2 | id | id | ASC | f | t | t
city | countrycode | public | t | 1 | countrycode | countrycode | ASC | f | f | t
...
countrylanguage | countrycode | public | t | 1 | countrycode | countrycode | ASC | f | f | t
countrylanguage | countrycode | public | t | 2 | language | language | ASC | f | t | t
...
インデックスを削除します。countrycode
DROP INDEX city@countrycode;
DROP INDEX countrylanguage@countrycode;
データを読み込んだ後にインデックスを再作成します。
ステップ2。MySQLデータをロードする
CSV形式のデータでIMPORT INTOを使用して、データをCockroachDBにロードします。IMPORT INTO では、次の属性を持つテーブルごとに 1 つのファイルをエクスポートする必要があります。world
ファイルは、有効な CSV (カンマ区切り値) または TSV (タブ区切り値) 形式である必要があります。
区切り文字は 1 文字でなければなりません。区切り文字オプションを使用して、コンマ以外の文字 (TSV 形式のタブなど) を設定します。
ファイルは UTF-8 でエンコードする必要があります。
フィールドに次の文字のいずれかが含まれている場合は、フィールドを二重引用符で囲む必要があります。
区切り文字 (デフォルト)。,
二重引用符 () です。フィールドは二重引用符で囲まれるため、フィールド内の二重引用符の前に別の二重引用符を付けてエスケープします。例えば：。""aaa","b""bb","ccc"
改行 () です。\n
キャリッジリターン()。\r
カラムがバイト型の場合、有効な UTF-8 文字列、または で始まる 16 進数エンコードされたバイト リテラルのいずれかになります。たとえば、値がバイト であるフィールドは、 と記述されます。\x12\x0102
手記：
MySQL がデータをダンプするとき、テーブルは外部キー制約によって順序付けられず、外部キーは正しい依存関係の順序に配置されません。CockroachDBにデータをロードするときは外部キーチェックを無効にし、データがロードされた後に各テーブルで外部キーを再検証することをお勧めします。
デフォルトでは、IMPORT INTO はターゲット表のすべての外部キー制約を無効にします。
次のmysqldumpコマンドを使用してMySQLデータをダンプします。world
mysqldump -uroot -T /{path}/world-data --fields-terminated-by ',' --fields-enclosed-by '"' --fields-escaped-by '\' --no-create-info world
これにより、データベース内の各テーブルが CSV 形式のファイルとしてパスにダンプされます。/{path}/world-data.txt
--fields-terminated-by値をタブではなくコンマで区切ることを指定します。
--fields-enclosed-byをクリックし、列の値を囲む文字とエスケープする文字をそれぞれ指定します。--fields-escaped-by
--no-create-infoデータ操作言語 (DML) のみをダンプします。
CockroachDB クラスターがアクセスできる場所でファイルをホストします。
CockroachDB クラスター内の各ノードは、インポートされるファイルにアクセスできる必要があります。クラスターがデータにアクセスする方法はいくつかあります。IMPORT INTO がプルできるストレージのタイプの詳細については、以下を参照してください。
クラウドストレージを使用する
ローカル・ファイル・サーバーの使用
Amazon S3 や Google Cloud などのクラウドストレージは、インポートするデータファイルをホストすることを強くお勧めします。
前のステップで生成されたダンプファイルは、この例用に作成されたパブリック S3 バケットですでにホストされています。
以前と同じコマンドを使用して、CockroachDB クラスターへの SQL シェルを開きます。world
cockroach sql --url "postgresql://{username}@{hostname}:{port}/world?sslmode=verify-full"
IMPORT INTO を使用して、各 MySQL ダンプファイルをデータベース内の対応するテーブルにインポートします。world
次のコマンドは、この例でデータダンプファイルがホストされているパブリック S3 バケットを指しています。この句は、コマンドによって生成される値を NULL として読み取る必要があることを指定します。worldnullif='\N'\Nmysqldump
先端：
インポートする行数を指定するオプションを追加できます。たとえば、テーブルの最初の 10 行をインポートします。このオプションは、時間とリソースを消費するインポートを実行する前に、エラーをすばやく検出するのに役立ちます。row_limitrow_limit = '10'
IMPORT INTO countrylanguage
CSV DATA (
'https://cockroachdb-migration-examples.s3.us-east-1.amazonaws.com/mysql/world/countrylanguage.txt'
)
WITH
nullif='\N';
job_id | status | fraction_completed | rows | index_entries | bytes
---------------------+-----------+--------------------+------+---------------+---------
887782070812344321 | succeeded | 1 | 984 | 984 | 171555
IMPORT INTO country
CSV DATA (
'https://cockroachdb-migration-examples.s3.us-east-1.amazonaws.com/mysql/world/country.txt'
)
WITH
nullif='\N';
job_id | status | fraction_completed | rows | index_entries | bytes
---------------------+-----------+--------------------+------+---------------+--------
887782114360819713 | succeeded | 1 | 239 | 0 | 33173
IMPORT INTO city
CSV DATA (
'https://cockroachdb-migration-examples.s3.us-east-1.amazonaws.com/mysql/world/city.txt'
)
WITH
nullif='\N';
job_id | status | fraction_completed | rows | index_entries | bytes
---------------------+-----------+--------------------+------+---------------+---------
887782154421567489 | succeeded | 1 | 4079 | 4079 | 288140
手記：
CockroachDB で動作するようにスキーマを変換した後、 のカラムは unique_rowid() によって生成されたデフォルト値を持つ INT8 になります。ただし、値が生成されるのは、値なしで新しい行が挿入された場合のみです。MySQLデータダンプには、MySQL AUTO_INCREMENT属性によって生成された連続した値が含まれており、これらはコマンドでインポートされます。idcityunique_rowid()ididIMPORT INTO
実際の移行では、主キーを複数列のキーに更新するか、一意の ID を生成する新しい主キー列を追加できます。
データをインポートする前に削除したインデックスを再作成します。
CREATE INDEX countrycode ON city (countrycode, id);
CREATE INDEX countrycode ON countrylanguage (countrycode, language);
ターゲット表のすべての外部キー制約が無効になることを思い出してください。と に定義されている制約を表示します。IMPORT INTOcitycountrylanguage
SHOW CONSTRAINTS FROM city;
table_name | constraint_name | constraint_type | details | validated
-------------+-----------------+-----------------+--------------------------------------------------------------+------------
city | city_ibfk_1 | FOREIGN KEY | FOREIGN KEY (countrycode) REFERENCES country(code) NOT VALID | f
city | city_pkey | PRIMARY KEY | PRIMARY KEY (id ASC) | t
SHOW CONSTRAINTS FROM countrylanguage;
table_name | constraint_name | constraint_type | details | validated
------------------+------------------------+-----------------+--------------------------------------------------------------+------------
countrylanguage | countrylanguage_ibfk_1 | FOREIGN KEY | FOREIGN KEY (countrycode) REFERENCES country(code) NOT VALID | f
countrylanguage | countrylanguage_pkey | PRIMARY KEY | PRIMARY KEY (countrycode ASC, language ASC) | t
外部キーを検証するには、ALTER TABLE ...VALIDATE CONSTRAINT ステートメントを使用します。
ALTER TABLE city VALIDATE CONSTRAINT city_ibfk_1;
ALTER TABLE countrylanguage VALIDATE CONSTRAINT countrylanguage_ibfk_1;
ステップ3。移行されたデータを検証する
MOLT Verifyを使用して、MySQLとCockroachDBのデータの整合性を確認します。
MOLT Verifyをインストールします。
MOLT Verifyをインストールしたディレクトリで、次のコマンドを使用して2つのデータベースを比較し、MySQLのJDBC接続文字列とCockroachDBのSQL接続文字列を次のように指定します。--source--target
先端：
CockroachDB 接続文字列を見つけるには、Cloud Console で [接続] ダイアログを開き、データベースと [全般] 接続文字列オプションを選択します。world
./molt verify --source 'jdbc:mysql://{user}:{password}@tcp({host}:{port})/world' --target 'postgresql://{user}:{password}@{host}:{port}/world?sslmode=verify-full'
初期出力が表示されます。
<nil> INF verification in progress
次の警告は、MySQL カラムと CockroachDB カラムの型が異なることを示しています。これは、スキーマを変換したときに一部の列が ENUM 型に変更されたため、予期される結果です。
<nil> WRN mismatching table definition mismatch_info="column type mismatch on continent: text vs country_continent_enum" table_name=country table_schema=public
<nil> WRN mismatching table definition mismatch_info="column type mismatch on isofficial: text vs countrylanguage_isofficial_enum" table_name=countrylanguage table_schema=public
次の出力は、MOLT Verify が検証を完了したことを示しています。
<nil> INF finished row verification on public.country (shard 1/1): truth rows seen: 239, success: 239, missing: 0, mismatch: 0, extraneous: 0, live_retry: 0
<nil> INF finished row verification on public.countrylanguage (shard 1/1): truth rows seen: 984, success: 984, missing: 0, mismatch: 0, extraneous: 0, live_retry: 0
<nil> INF finished row verification on public.city (shard 1/1): truth rows seen: 4079, success: 4079, missing: 0, mismatch: 0, extraneous: 0, live_retry: 0
<nil> INF verification complete
スキーマを移行し、初期データ読み込みを検証したら、実際の移行の次の手順は、完全な移行を実行する前に、必要なアプリケーションの変更を行ったことを確認し、アプリケーション クエリを検証し、ドライ ランを実行することです。
詳細については、「移行の概要」を参照してください。
・・・要するにMySQLからCockroachDBへの移行ツールは開発されていないということでいいんだな？
