DynamoDBのデータ量を減らしたい

[koichimurakami]

現在DynamoDBにコマンド、最新データ、履歴データが保存されています。
なるべくコストを抑えるためにデータ量を減らすための設定が出来るようにしてほしいです。

設定データ種別

• コマンド履歴データの保有期間: デフォルト 90
• 最新データの保有期間: デフォルトnull
• 履歴データの保有期間: デフォルト 90

いずれの項目も null は設定可能としてください。null が設定された際は無制限に保存するものとします。

DynamoDBの保有期間

CDKで設定データを定義して、DynamoDBのTTLに反映するようにして下さい。

※ 設定変更をした場合 DynamoDB TTLに変更しません。保管期間を変更したい場合は別途対応が必要とします。

コマンド

最新のコマンド以外は コマンド履歴データの保有期間 に基づき自動的に削除されるようにしてください。
最新のコマンドについては 最新データの保有期間 を過ぎたら削除するようにしてください。

最新コマンドが追加された際の処理として、 最新データの保有期間 を最新コマンドに設定し、古いコマンドについて コマンド履歴データの保有期間 を自動セットする必要があります。

最新データ

最新データの保有期間 を過ぎたら削除するようにしてください。

履歴データ

履歴データの保有期間 を過ぎたら削除するようにしてください。

[baquan1708]

@koichimurakami cc: @Tuan-Anh-Nguyen-pionero

In the current deployment flow, we create DDB and RDS tables by running the npm run migrate command before deploying the CDK stack. The npm run migrate script includes the npm run migrate:ddb command, which performs the following tasks for DDB tables:

• Creates DDB tables.
• Enables the stream feature for command-type tables.
• Enables TTL and point-in-time recovery features for all table types.

Note: To define a data retention period in DynamoDB, the TTL attribute must be set during item creation.

The solution for this requirement involves the following:

• Add 3 environment variables to specify retention periods for different data types (command, history, data) and apply TTL for each type of data during the publishing and processing of commands.
• Add a set_ttl_command step before the history_copy step to set TTL for older commands.
• Modify the history_copy step to set TTL for the history data.

Could you please review the solution before I proceed with the implementation?

[koichimurakami]

@baquan1708 cc: @Tuan-Anh-Nguyen-pionero
Thank you.
So, the DynamoDB data looks good from the above.
By the way, if the command data volume is large, I think the framework is saving some of the attributes to S3, but do you have any good ideas for S3 as well?

[baquan1708]

@koichimurakami cc: @Tuan-Anh-Nguyen-pionero

Thank you for bringing this to my attention.

If the command data size is large, the framework will store the attribute to s3 with key: ddb/${tableName}/${pk}/${sk}/${ulid()}.json. Therefore, if we change the TTL, additional actions will be required, such as

• applying the new TTL to old commands and history items,
• and set the bucket lifecycle configuration for ddb/ddb/${tableName}.

Note: An S3 Lifecycle configuration can have up to 1,000 rules. This limit is not adjustable. Ref.

[koichimurakami]

@baquan1708 cc @Tuan-Anh-Nguyen-pionero
Thank you for reply. Limitation of lifecycle configuration is not so important. Project may be micro service.

Could you please proceed with the implementation

[baquan1708]

@koichimurakami cc: @Tuan-Anh-Nguyen-pionero
Yes, I will implement this right away.

[baquan1708]

@koichimurakami cc: @Tuan-Anh-Nguyen-pionero

I've just created PR: #97. When you have a moment, could you please review it?

Here is the step function diagram after the change:

[koichimurakami]

Release Info in Japanese https://www.mbc-net.com/update-mbc-cqrs-%e3%82%b5%e3%83%bc%e3%83%90%e3%83%bc%e3%83%ac%e3%82%b9-%e3%83%95%e3%83%ac%e3%83%bc%e3%83%a0%e3%83%af%e3%83%bc%e3%82%af-ver-0-1-44-beta-dynamodb%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf/