软件介绍
一个基于VITS的简单易用的语音转换（变声器）框架，算法相关经验和成果是b站花儿不哭和Rcell经过半年时间做了上百组实验得出的当前的最优解，安装包由入梦集成，包括多款训练好的音源文件和集成入梦虚拟声卡。
软件简介
1、使用top1检索替换输入源特征为训练集特征来杜绝音色泄漏
2、即便在相对较差的显卡上也能快速训练
3、使用少量数据进行训练也能得到较好结果(推荐至少收集10分钟低底噪语音数据)
4、可以通过模型融合来改变音色(借助ckpt处理选项卡中的ckpt-merge)
5、简单易用的网页界面
6、可调用UVR5模型来快速分离人声和伴奏
配置要求
1、win10或win11系统,显卡驱动要更新到最新版本
2、显卡750TI以上,如需训练音源,需RTX 2060以上显卡
3、CPU支持AVX2指令集,性能越高越推理延迟越低
4、清晰干净的麦克风,声卡麦克风最优,如无麦克风可咨询淘宝入梦音频
入梦增强版特点
1、对AI变声集成了VB-audio虚拟MME麦克风,可以实时输出
2、对RVC增强了模型地址,减少加载工作量
相比于传统变声器优点
1、AI变声不吃个人声线,只需要清晰的说化即可,传统变声器只能根据个人声线进行变化
2、可以训练模型,加载各种声线,语气声线多样化
相比于传统变声器缺点
1、延迟太高,通常都是1-5秒以上,传统变声器最低可以无延迟
2、咬字不清晰,气息非常奇怪,感情波动就会失真,非常吃模型的音源
3、吃配置较高,需要CPU和GPU双重占用,配置低就无法使用,RVC目前只能兼容N卡
4、兼容性还是太差了,AI变声目前还不成熟,闪退稳定性有待优化
入梦观点
1、使用的时候建议独立声卡或者麦克风,耳机噪音过大会非常影响到AI变声效果,麦克风音质越好,效果越好
2、对CPU和GPU双重资源的压力,部分配置低的用户可能带不动,建议有独立显卡在使用
3、延迟太高,如果使用MME协议输出,延迟在2秒到6秒,如果麦克风音质太低,设置低延迟声音会卡顿
4、说话的时候不能大喊大叫,必须平稳说话,否则声音就变成气音
5、打游戏还是不行的,因为延迟太高,如果说话过快会覆盖下一句话,不能情绪过于激动不然也会变成气音
6、只是发短语音消息而非实时通话,声音还是非常棒的,颠覆了我对于AI变声的印象,科技使人进步
注意
1、需要N卡才能玩，建议最低N卡750ti以上
2、所有文件和模型路径不能含有中文，使用时显卡驱动更新到最新版本
暂无评论内容