音声合成を勉強しています。歌声合成に特に興味があります。音声合成に関わる全ての人に尊敬と感謝を。業界の外の人ですが、絡んでくれると喜びます。
- Tweets 1,024
- Following 382
- Followers 610
- Likes 1,576
音質を求めたボコーダーの研究は終わってしまったんだろうな…。論文もないけどやたら音質のいいNSF-HiFiGAN、論文の記述がぼかされてるけど実績のあるRefineGAN、高サンプリングレートでは俺の魔改造実装しかないNHV、これらはTTSでもすごく強いはず
16
1,116
Interspeechの論文、Claudeに100本くらいピックアップしてもらって全部要約してもらってる。怠惰ですなあ…。PDFの翻訳ツール使ってなんとか読み解きながら、自分で要約をノートアプリとかにまとめてた時代が懐かしい…。
5
786
ありがとうございます！ 将来的には音素ラベルしかないデータセットをさらに学習させてみたいですね。日本語の数個のデータセットでしか試していないこともあり、デフォルト設定で常に完璧に動くかは懸念があります。
1
18
ゆっきー@音声合成 retweeted
音質もかなりいいですよ
ただ、入力に使う音響特徴量の質に左右されるので、サンプルコード内の特徴量抽出に関連するパラメータをいじってもらうといいかもですね（F0レンジや抽出方法、スペクトルのフロアリング係数epsilonあたり）
1
1
3
255
ゆっきー@音声合成 retweeted
本日，弊研究所で開発しました声質制御が可能なニューラルボコーダFIRNetの公式学習済みモデルとサンプルコードを公開しました．
下記から利用可能です．
ぜひお試しください．
🔗 Hugging Face: huggingface.co/ASTREC-NICT/F…
📄 IEEE TASLP paper: ieeexplore.ieee.org/document…
1
19
62
3,539
度々すみません…！ 試験運転中ではありますが、ボコーダーのv3.2にさらにエポック数を増やして学習を重ねたウェイトをF0モデルのリポジトリに置いています。より音質が高くなるかもしれないのでぜひ試していただければ…！
github.com/wavtechyukky/Pret…
1
1
33
15個…！ それだけあったら楽しそうですね！ 実際にはスタイルベクトルってあまり機能しないことが多い中(自分の実験方法では)、3、4個のスタイルでもちゃんと実装できてるのは凄いことなのかもしれません。(こないだF0モデル作ったら、波音リツsoftと通常波音リツのF0はほぼ同じに学習されました)
1
97
音へのこだわりがプロフェッショナルすぎる…！
Synthesizer Vの技術だけでは作れなかった。「Instrument X」開発者2人が明かす、AI楽器音源誕生の舞台裏 #dtmステーション dtmstation.com/archives/7966…
1
7
1,668
個人的に今注目しているのは、声質よりもF0やイントネーションのスタイルです。ひとつの声質であらゆるジャンルの歌い方を実現するスマートな方法はないかと考えています。よくよく考えたら、ラップモードがあるくらいだから不可能ではなさそうですが、やらないということは難しいんでしょうね。
1
78
Synthesizer Vのボーカルスタイルってボイスバンクの企業側が指定してるんだろうか？ ワンショットで適切なスタイルベクトルを見つけることで無数に増やすのは無理なのか？ (Claudeが自信満々に「できる」と言ってきたのだけど、多分いつものフカシだろう…)
2
1
11
1,122
