New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

UKRのデータに対するメモリ消費を抑える #149

Open

ae14watanabe opened this issue May 18, 2020 · 0 comments · May be fixed by #150

Assignees

Labels

invalid

Member

ae14watanabe commented May 18, 2020 •

edited

Loading

target library 対象となるライブラリ（コード）

Describe the bug バグの説明
X.shape=(2500, 900)程度のサイズのデータXに対して学習ができない。メモリの占有容量が大きく、スワップ領域を利用するため学習が非常に遅くなる。

原因として考えられるのは以下。これだと一度(2500,2500,9)を確保する必要があり、double型と考えると45GB程度必要になる。

To Reproduce 再現手順
Steps to reproduce the behavior 挙動を再現するための手順:

X.shape=(2500, 900)程度のサイズのデータXを用意
fitさせる

Expected behavior 期待される振る舞い
計算時間はしょうがないとして、とりあえず回って欲しい。

ae14watanabe added the invalid label

ae14watanabe self-assigned this

ae14watanabe linked a pull request

that will close this issue

UKRのメモリ消費抑える修正 #150

Draft

2 tasks

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment