1. はじめに
MySQLとRedis間のデータ一貫性を確保する方法は、一般的にRedisを先に更新してからMySQLを更新する方法、またはその逆の方法が議論されています。しかし、これらのアプローチは実際のアプリケーションシナリオでは完全なデータ一貫性を保証できず、特定の条件下で問題が発生する可能性があります。本稿では、Canalツールを使用してMySQLのスレーブノードになりすますことで、binlogを読み取りデータ一貫性を実現する方法を紹介します。
CanalはJava開発のデータベース増分ログ解析に基づいた中間件で、増分データの購読と消費を提供します。現在、主にMySQLのBinlog解析をサポートしており、解析完了後にはCanal Clientを利用して関連データを処理します。同様のコンポーネントにはFlink CDCなどがあります。
2. CanalによるMySQLとRedisのデータ一貫性実現原理
CanalはMySQLのスレーブノードになりすまし、binlogを取得してMySQLの変更内容を把握し、それに基づいてRedisキャッシュを更新することで、MySQLとRedis間のデータ一貫性を保証します。
3. Canalのダウンロード、インストール、設定
注: マスター-スレーブレプリケーションを実現するには、マスターノードのbinlog機能が有効になっている必要があります。
マスターノードのMySQL設定ファイルを変更します（MySQL 8.0ではデフォルトで有効になっており、binlog_formatはrowがデフォルトです）：
# vim /etc/my.cnf
[mysqld]
server-id=1
log-bin=test # カスタムバイナリログファイル名
binlog_format=row
3.1. Canalのダウンロード
ダウンロード先: Releases · alibaba/canal · GitHub。本稿ではcanal.deployer-1.1.7.tar.gzを使用して環境を構築します。
3.2. インストール
Canalのインストールは簡単で、指定されたフォルダに解凍するだけです。
# 解凍（事前にcanalフォルダを作成しておく）
tar -zxvf canal.deployer-1.1.7.tar.gz -C /opt/canal
3.3. 設定ファイル
3.3.1. Canalの基本設定ファイル
######### 共通引数 #############
# TCPバインドIP
canal.ip =
# デフォルトポートは11111
canal.port = 11111
canal.metrics.pull.port = 11112
# canal admin設定
#canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
canal.zkServers =
# データをzkにフラッシュ
canal.zookeeper.flush.period = 1000
canal.withoutNetty = false
# tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ
# デフォルトはtcp、上記複数のMQデータ転送をサポート
canal.serverMode = tcp
# メタカーソル/解析位置をファイルにフラッシュ
canal.file.data.dir = ${canal.conf.dir}
canal.file.flush.period = 1000
# binlog形式/イメージチェック
canal.instance.binlog.format = ROW,STATEMENT,MIXED
canal.instance.binlog.image = FULL,MINIMAL,NOBLOB
# binlog ddl分離
canal.instance.get.ddl.isolation = false
canal.instance.parser.parallelBufferSize = 256
######### デスティネーション（Canalがデータを送信する先） #############
canal.destinations = example
# confルートディレクトリ
canal.conf.dir = ../conf
# インスタンスディレクトリの自動スキャンと追加/削除、起動/停止
canal.auto.scan = true
canal.auto.scan.interval = 5
# この値を'true'に設定すると、binlog posが見つからない場合、最新にスキップします。
# 警告: 本番環境では'false'に保ち、または何をしたいのか理解している場合のみ変更してください。
canal.auto.reset.latest.pos.mode = false
canal.instance.tsdb.spring.xml = classpath:spring/tsdb/h2-tsdb.xml
#canal.instance.tsdb.spring.xml = classpath:spring/tsdb/mysql-tsdb.xml
canal.instance.global.mode = spring
canal.instance.global.lazy = false
canal.instance.global.manager.address = ${canal.admin.manager}
#canal.instance.global.spring.xml = classpath:spring/memory-instance.xml
canal.instance.global.spring.xml = classpath:spring/file-instance.xml
#canal.instance.global.spring.xml = classpath:spring/default-instance.xml
######### Kafka #############
kafka.bootstrap.servers = 127.0.0.1:9092
kafka.acks = all
kafka.compression.type = none
kafka.batch.size = 16384
kafka.linger.ms = 1
kafka.max.request.size = 1048576
kafka.buffer.memory = 33554432
kafka.max.in.flight.requests.per.connection = 1
kafka.retries = 0
kafka.kerberos.enable = false
kafka.kerberos.krb5.file = ../conf/kerberos/krb5.conf
kafka.kerberos.jaas.file = ../conf/kerberos/jaas.conf
# saslデモ
# kafka.sasl.jaas.config = org.apache.kafka.common.security.scram.ScramLoginModule required \\n username=\"alice\" \\npassword="alice-secret\";
# kafka.sasl.mechanism = SCRAM-SHA-512
# kafka.security.protocol = SASL_PLAINTEXT
######### RocketMQ #############
rocketmq.producer.group = test
rocketmq.enable.message.trace = false
rocketmq.customized.trace.topic =
rocketmq.namespace =
rocketmq.namesrv.addr = 127.0.0.1:9876
rocketmq.retry.times.when.send.failed = 0
rocketmq.vip.channel.enabled = false
rocketmq.tag =
######### RabbitMQ #############
rabbitmq.host =
rabbitmq.virtual.host =
rabbitmq.exchange =
rabbitmq.username =
rabbitmq.password =
rabbitmq.deliveryMode =
説明: このファイルはCanalの基本共通設定で、Canalのデフォルトポートは11111です。Canalの出力モードを変更するには、デフォルトのtcpを変更します。
3.3.2. インスタンスの設定ファイル
マルチインスタンス設定では、複数のインスタンスが必要な場合、Canalアーキテクチャによれば、1つのCanalサービスに複数のインスタンスを含めることができます。conf/ディレクトリ下の各exampleがインスタンスであり、それぞれ独立した設定ファイルを持っています。デフォルトではexampleという1つのインスタンスしかありません。異なるMySQLデータを処理するために複数のインスタンスが必要な場合は、exampleを複数コピーし、名前を変更し、設定ファイルで指定された名前と一致させます。次に、canal.propertiesのcanal.destinations = インスタンス1,インスタンス2,インスタンス3を変更します。
各インスタンスのディレクトリに移動してinstance.propertiesファイルを変更します。
#################################################
## mysql serverId, v1.0.26+ は自動生成
canal.instance.mysql.slaveId=12 # クラスター内で一意であればOK
# gtidを有効にするか true/false
canal.instance.gtidon=false
# 位置情報
canal.instance.master.address=127.0.0.1:3306 # マスターノードのIPとポート
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=
# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=
# テーブルメタtsdb情報
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal
#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=
# ユーザー名/パスワード
canal.instance.dbUsername=root # マスターDBユーザー名
canal.instance.dbPassword=123456 # マスターDBパスワード
canal.instance.connectionCharset = UTF-8
# druidでDBパスワードを復号を有効にする
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==
# mq設定
canal.mq.topic=example
# スキーマまたはテーブル正規表現による動的トピックルーティング
#canal.mq.dynamicTopic=mytest1.user,topic2:mytest2\\..*,.*\\..*
canal.mq.partition=0
# ハッシュパーティション設定
#canal.mq.enableDynamicQueuePartition=false
#canal.mq.partitionsNum=3
#canal.mq.dynamicTopicPartitionNum=test.*:4,mycanal:6
#canal.mq.partitionHash=test.table:id^name,.*\\..*
#
# polardbx用マルチストリーム
canal.instance.multi.stream.on=false
#################################################
3.4. Canalの起動
bin/start.shを実行します。
注: JDKのバージョンが高い場合、本稿ではJDK17を使用していますが、Canalは現在JDK11に基づいているため、以下のエラーが発生します：
発生原因:
1）、-XX:+AggressiveOpts、このパラメータは11のバージョンで廃止され、以降のバージョンで削除されます；
2）、-XX:+UseBiasedLocking、このパラメータは15のバージョンで廃止され、このバイアスロックは廃止されています。
解決方法:
起動ファイルを変更します（vim bin/start.sh）、以下に示すように2つのパラメータを削除し、まずbin/stop.shを実行してからbin/start.shを実行します：
4. TCPモードでのCanalテスト
4.1. 依存関係の追加
<dependency>
<groupId>com.alibaba.otter</groupId>
<artifactId>canal.client</artifactId>
<version>1.1.6</version>
</dependency>
<dependency>
<groupId>com.alibaba.otter</groupId>
<artifactId>canal.protocol</artifactId>
<version>1.1.6</version>
</dependency>
4.2. クライアントコードの作成
import com.alibaba.fastjson2.JSONObject;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;
import com.google.protobuf.ByteString;
import com.google.protobuf.InvalidProtocolBufferException;
import java.net.InetSocketAddress;
import java.util.List;
public class RedisDataSyncClient {
public static void main(String[] args) throws InvalidProtocolBufferException {
//1. Canal接続オブジェクトを取得
CanalConnector canalConnector = CanalConnectors.newSingleConnector(
new InetSocketAddress("192.168.30.89", 11111),
"example",
"",
""
);
while (true) {
//2. 接続を取得
canalConnector.connect();
// 監視対象のデータベースを指定
canalConnector.subscribe("test.*");
// Messageを取得
Message message = canalConnector.get(100);
List<CanalEntry.Entry> entries = message.getEntries();
if (entries.size() <= 0) {
System.out.println("データなし、しばらく休憩");
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
} else {
for (CanalEntry.Entry entry : entries) {
// テーブル名を取得
String tableName = entry.getHeader().getTableName();
CanalEntry.EntryType entryType = entry.getEntryType();
// entryTypeがROWDATAかどうかを判断
if (CanalEntry.EntryType.ROWDATA.equals(entryType)) {
// シリアル化されたデータを取得
ByteString storeValue = entry.getStoreValue();
// デシリアライズ
CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(storeValue);
// イベントタイプを取得
CanalEntry.EventType eventType = rowChange.getEventType();
// 具体的なデータを取得
List<CanalEntry.RowData> rowDatasList = rowChange.getRowDatasList();
// データをループして出力
for (CanalEntry.RowData rowData : rowDatasList) {
JSONObject beforeData = new JSONObject();
List<CanalEntry.Column> beforeColumnsList = rowData.getBeforeColumnsList();
for (CanalEntry.Column column : beforeColumnsList) {
beforeData.put(column.getName(), column.getValue());
}
JSONObject afterData = new JSONObject();
List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList();
for (CanalEntry.Column column : afterColumnsList) {
afterData.put(column.getName(), column.getValue());
}
System.out.println("テーブル名:" + tableName +
", イベントタイプ:" + eventType +
", 変更前:" + beforeData +
", 変更後:" + afterData);
}
}
}
}
}
}
}
4.3. テスト結果
データを挿入した後の監視結果：
5. まとめ
本稿では、データ一貫性を解決するための1つの方案として、MySQLのマスター-スレーブレプリケーションを利用してデータベースとキャッシュの一貫性を実現する方法を紹介しました。Canalは結果をMQに送信する実装も可能であり、高可用性クラスター展開もサポートしています。これらの詳細な内容は後続の記事で共有予定です。