关于生成模型调参

[holydick99]

作者你好，关于生成模型调整超参数，请问有推荐的方法吗，由于现在数据过大每次训练要大量的时间，我在考虑在子集上进行调参是否可行？

[Y-debug-sys]

你好，我认为问题不会太大，实际上，大多数数据集我都是以经验决定初始方案（随着数据维度和样本数量放缩），接着小范围微调。

[holydick99]

感谢您的回复, 我在训练时发现一个问题, 在前几次训练是判别分数是正常的,但是在后面几次生成时, 会完全被判别为fake data, 且每次训练完后predictive 分数并无变化, 这会与我使用模型只生成一类时间序列数据有关吗? (调整了部分参数,且context FID 降低)

[Y-debug-sys]

在前几次训练是判别分数是正常的,但是在后面几次生成时, 会完全被判别为fake data

A: 这个影响不大，我们只判断对分类模型的混淆程度，如果包括真实数据全部被判别为fake data 或者 real data 不代表数据质量差。

每次训练完后predictive 分数并无变化, 这会与我使用模型只生成一类时间序列数据有关吗? (调整了部分参数,且context FID 降低)

A: 确实与数据关系很大，时空相关性影响结果，如果其他维度能够推断出预测的那个维度，那效果确实影响不大。

[holydick99]

确实与数据关系很大，时空相关性影响结果，如果其他维度能够推断出预测的那个维度，那效果确实影响不大。

我并没有理解这个回答的含义，可以再解释一下吗，我的predictive 分数 无论我怎么修改配置文件几乎都不怎么变化，这是似乎有点问题

[Y-debug-sys]

确实与数据关系很大，时空相关性影响结果，如果其他维度能够推断出预测的那个维度，那效果确实影响不大。

TimeGAN 的 Predictive Score 计算过程如上图所示，值得注意的是，与传统预测不同，它只预测下一时刻的最后一个维度的数据（其它位置均已知），所以相关性影响大。

[holydick99]

确实与数据关系很大，时空相关性影响结果，如果其他维度能够推断出预测的那个维度，那效果确实影响不大。

TimeGAN 的 Predictive Score 计算过程如上图所示，值得注意的是，与传统预测不同，它只预测下一时刻的最后一个维度的数据（其它位置均已知），所以相关性影响大。

感谢你的回复，我还有一个问题，计算pre 分数的时候，加载的数据文件是我途中所显示的文件吗？因为我修改了模型后pre的分数仍然不会变，不是很理解

[holydick99]

或者说是模型过拟合导致？

[holydick99]

我的数据集维度为（1400，1，178），为了验证这个问题训练diffusion时只修改了epoch 分别等于 3000，6000，10000.但是最后的 pre分数均为0.079即使context-fid在随epoch减小而增大，我认为这足以体现一些问题，希望能得到你的帮助

[Y-debug-sys]

或者说是模型过拟合导致？

放大 dropout 怎么样？

[holydick99]

放大 dropout 怎么样？
attn_dp = res_dp = 0.3: Predictive Score (PRE): 0.07928810736469585; context-fid = 0.75
= 0.5： Predictive Score (PRE): 0.07931534740006542 fid = 0.8340
其它的一些配置如下

[Y-debug-sys]

我想知道你有尝试使用其他的生成模型做对比吗？这个问题我没有遇到过。

[holydick99]

目前在timegan上进行了两种类别合并训练，dis和pred 分数正常，刚才我也在ts-diff中加入了等量的两种类别进行训练，仍然会出现问题这样的问题（在8000epoch下的pred和dis 基本与25000 的情况下一致 数据维度（2900，1，178）😟，我可以将关键代码发送至邮箱帮我进行简短检查吗

…

---原始邮件--- 发件人: "Xinyu ***@***.***> 发送时间: 2025年12月14日(周日) 晚上7:28 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [Y-debug-sys/Diffusion-TS] 关于生成模型调参 (Issue #134) Y-debug-sys left a comment (Y-debug-sys/Diffusion-TS#134) 我想知道你有尝试使用其他的生成模型做对比吗？这个问题我没有遇到过。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>