「AIきりたん」がすごい

ゆうべ、そろそろ寝ようかなと思っていたらものすごいものが投下され、興奮して結局3時半まで起きてしまいました。

ということで、昨晩公開された「AIきりたん」こと歌声合成エンジンNEUTRINO1について(今の興奮をあとで思い返すためにも)書いておきます。

AIきりたんとは

とりあえずこれを聴いてみてください。

これが合成音声か!?と思ってしまうような仕上がりですが、これがAIきりたん……歌声合成エンジンNEUTRINOによって生成されたきりたんの歌声です。

NEUTRINOはSHACHIさん(@SHACHI_KRTN)によって製作されたフリーウェアで、昨晩公開されました。その標準の同梱ライブラリの1つが東北きりたんのものなので、そちらのことが「AIきりたん」または「AIシンガーきりたん」と呼ばれているというわけです。

上に貼った動画はくろ州さんのもので、氏は1週間ほど前、一足先にNEUTRINOの提供を受けていたらしいです(ソフトウェアの公開と同時に曲を公開してもらうの、プロモーションがうまいですね)2/22 23:20 訂正:「私がやったのはテスターであって、バグ報告すればいいだけだったので、カバー投稿は「私が我慢できなかっただけ」です。記事公開も勝手にやってます。」2とのことです。プロモーションを依頼していたわけではなかったようです。お詫びして訂正します)。 ということでけっこう頑張って調整されているようなのですが、一般公開されてから試しに使ってみた方々の曲も(まだ1日経ってないのですが)既にたくさんニコニコ動画に上がっています。

www.nicovideo.jp

けっこう曲を選ぶ節があるようなのですが、無調声ですらかなり人間らしい声を出していてすごいの一言です。

また、製作者(SHACHIさん)自身によるサンプルもありますが、これは既にニコニコ大百科のほうにまとめられているので、そちらを参照すると良いと思います。

dic.nicovideo.jp

実際に触ってみたい方は、

・くろ州さんの記事

km4osm.com

や、

・アマノケイさんの記事

amanokei.hatenablog.com

を参照するとわかりやすいと思います。

私もアマノケイさんの記事を参考に、(私は楽譜打ち込みをしたことがなく、手っ取り早く試してみたかったので)「us配布」タグで公開されている動画から借りたustファイルを使って試してみたのですが、楽譜を食わせただけで何回も聴いていたくなる歌が生成されてびっくりです。たまに音を外したりするのですが、そういうところも人間らしくてよいのですよね…。

今はまだ使う側の知見が溜まっていませんが、しばらく経つと更にすごいものが出てくるのではないかと期待がいっぱいです。

ということで「歌声合成の一つの到達点か!?」くらいのことを思っているのですが、前述の「キリトリセン」の動画でくろ州さんが

AIきりたん

いろんな技術屋、法律屋、声優、学者、キャラクター運営などの作った伏線の上にある

と書かれているように、AIきりたんはいろんな人達が築き上げた基礎の上にあります。 その「伏線」を私の知る限りでまとめてみようかなと思います。

キャラクター運営の面:東北きりたんとは?

そもそも「『東北きりたん』って誰?」という方のために説明しておくと、東北きりたんは「東北ずん子」の妹です。

f:id:suzusime:20200222160554p:plain
東北きりたん

東北ずん子はSSS合同会社によって生み出された企画で、震災後の東北応援の文脈をもっています。 「いたこ」が元ネタの長女東北イタコ、「ずんだ餅」由来の次女東北ずん子3、「きりたんぽ」由来の三女東北きりたん、の東北三姉妹を軸に様々なキャラクターが登場しますが、特徴的なのは至る所に現れるぶっとんだ設定と展開。冗談交じりに「制作者はずんだキメてる」とかいわれてたりします。私も軽い気持ちで見たアニメ『ずんだホライずん』でずん子ワールドを知り、公式4コマを読み、気づいたらきりたんのVOICEROID4を買っていました。 ずん子についてはアニオタWikiの東北ずん子の項が詳しいので、キャラクター設定についてもう少し知りたい方はそちらをどうぞ。

さて、これだけだと普通のキャラクタービジネスかもしれませんが、特筆すべきはずん子運営が新しいものにとても貪欲なこと、および素材を惜しみなく提供していく姿勢です。

上でさらっとアニメやVOICEROIDの存在について触れましたが、これらは基本的にクラウドファンディングで集めた資金で作られています。 去年は3Dアニメ用を作るということでクラウドファンディングをしていましたが、VR対応までするとのことです。そして、そのアニメのために作った3DモデルをPowerPointで使える形式にして配布するなんてことをしています。 あと、FacerigのモデルやVRMモデルを作ってみたり、仮想通貨(私は勝手に「ずんだコイン」と呼んでました)を作ったりなんてこともしていました。

ずん子公式サイトにはイラスト、3Dモデル(MMDBlender)、2Dモデル(E-Mote、Live2D、FaceRig)が置かれていて、VOCALOIDやVOICEROID、UTAUのデータもあるので、ニコニコ系創作スターターキットが揃っています(もちろん公式以外の素材もたくさんありますが)。

基本的に東北企業以外の商用利用には利用料が必要なのですが、「技術紹介目的なら例外的に無償でOK」と定められているなど、「新しい技術に真っ先に乗っかってそれでずん子を広めよう」という姿勢を強く感じます。 個人的に思うのは、特にVOICEROID化はうまくいったんだろうなということ。すっかり東北三姉妹は「VOICEROIDファミリー」みたいなものの一員として扱われていて、ゲーム実況やVOICEROID解説動画に(本来の物語に縛られることなく)出てくるので知名度アップに大きく貢献していそうです。必要な時代にツルハシを売ることができたというか。 最近は海外進出のために英語版VOICEROIDを作っているのだとか…。

そして、そういう流れの中で新たに提供されたのが音声合成の研究者向けのデータベースが、今回のAIきりたんのもとになっている「東北きりたん歌唱データベース」です。

法律の面:日本の改正著作権法

日本の法律というと、新しい技術の壁になってしまってなかなか新しい技術が育たない……というイメージがありますが、機械学習に関しては違います。 「日本は機械学習パラダイス」なんていわれるくらいに研究がやりやすい環境があるのです。

storialaw.jp

「東北きりたん歌唱データベース」は既存の曲(つまり第三者が権利を持っている曲)を東北きりたん(というか中の人である茜屋日海夏さん)が歌った音声のデータに、機械学習しやすいように様々な補助データ(歌詞や音程など)をつけたデータベースです。

これは、上記サイトでいうところの「1 自らモデル生成を行うのではなく、モデル生成を行う他人のために学習用データセットを作成して不特定多数の第三者に販売したりWEB上で公開する行為」に相当します。 つまり、2019年1月1日に施行された改正著作権法で初めて可能になったわけです。

今までこういった歌唱データベースには著作権切れの童謡を使ったものなどばかりだったようで、今風のポップソングに適したデータベースは(たぶん)画期的でした。

声優の面

とはいえ、合法化する法律ができただけではデータベースは作れません。当然ながら声優さん側の理解が必要なわけです。 次の記事は茜屋日海夏さんも所属する声優事務所81プロデュースの社長南沢道義氏へのインタビューです。

xtech.nikkei.com

「合成音声技術で声優の仕事がなくなってしまうのではないか?」という心配への声優事務所の立場から回答が示されています。このような考えから、声優事務所として協力をしてくれているのです。

技術の面:DNN

さて、これでデータベースという材料が揃ったので、あとはこれをどう料理して歌声合成エンジンを作るかです。

が、正直ここに関しては私は門外漢すぎて全然分かりません(IT技術っぽいことやってるのに……)。

製作者さんがこんな風に軽く解説されていますが、私は「よく見るDNN歌声合成」すら知らないのでなんとも。 DNN(Deep Neural Network)はNeural Networkの層を深くしたものであっていわゆるディープラーニングってやつだとは思うのですが。

付属のドキュメントによれば、NEUTRINOは(入力されたmusicxmlファイルから生成したlabelをもとに)「発声タイミングと音の高さ・声質・声のかすれ具合を推定」し、それをWORLDというソフトウェアに渡すことで音声にしているようです。このWORLDの開発者が、きりたん歌唱データベースの実現にも尽力された明治大の森勢将雅(@m_morise)さんです。

github.com

AIきりたん動画に「CeVIOっぽい」という反応がけっこうあるのですが、WORLDのサイトに「UTAUの合成エンジン,また音声創作ソフトウェアCeVIOの音声分析の一部にもWORLDが使われています」とのことなので、さもありなんということか。

とはいってもじゃあUTAUっぽいか?というとよく分からないので、やはりそれ以前のパラメータ決定部分でやっていることがNEUTRINOとCeVIOで似ているのかもしれません(CeVIOはHMM(隠れマルコフモデル)を使っているらしい)。やっぱり詳しい人の解説待ちです。

まとめ

ということで、データベース公開を合法化する法律、音声合成技術の研究、新しい技術を取り込もうとするキャラクター運営、声を合成音声のために提供することを許す声優と事務所、そしてこれを一般人にも使える形にまとめあげた技術者、その結晶が「AIきりたん」です。

一聴してびっくりするものの、いくつかの欠点も既に指摘されています。

ひとつ顕著なのは「曲を選ぶ」ということで、これは学習データにないジャンルの曲は難しい(だろう)機械学習由来の合成エンジンの面白い特徴かと思います(「きりたんが曲を選んでるようでかわいい」なんて感想をツイッターでみました。いいですね)5

あと、「きりたんっぽくない」「むしろらぁらちゃん6っぽい」といった感想も結構みました。これに関しては人々のきりたん像次第なんだろうなぁと思うところです。VOICEROIDのきりたんはパラメータ次第で声の高さや速さを変えられるのですが、低めに調整されていることが多い印象で、それと比べると違和感があるのかなという感じ。UTAU版やexVOICE7では必ずしもそうではないので「きりたんの声」でイメージされるものには幅がありそうです。そもそも東北ずん子の企画自体、媒体によって設定が違ったりするのであんまり深く考えなくてもいいんじゃないかなと思うところです。わたし的にはこれもきりたんとして全然アリです。「がんばってカラオケで歌ってそう」という妄想もいいですね。

「今のAIきりたんに納得いかなければぜひ自分で作ってみればいい」というのもあり(きりたん歌唱データベースが一般公開されているのは音声合成の研究を活発にするのが理由です)、これからもいろいろな変種なり新提案がでてきたりしそうで楽しみです。

AIきりたんの歌を聴いて本当に私はわくわくしました。

機械学習で商品の推薦システムを」みたいな話はよく聞くのですが8、そういうのとは段違いの面白さを感じます。 こういった夢のある楽しい技術が私は大好きです。

機械学習もちょっとくらい勉強しておけばよかったかな、なんて今若干思っています9

以上、きりたんのオタクによる、AIきりたんの感想でした。

(事実誤認等あれば指摘していただけると幸いです)


2/23 18:30追記

・アマノケイさんのブログに森勢さんへのインタビュー記事が出ました。当事者によるきちんとした情報が書かれているので、ぜひこちらも参照ください。

amanokei.hatenablog.com


  1. 後述のようにこう書くのはいささか不正確です。

  2. https://twitter.com/kM4osM_96s/status/1231216982252380160

  3. 実は本名は「じゅん子」らしい。ちなみにきりたんのほうは本名。

  4. 音声合成ソフトウェア

  5. これは原理的な困難ではなくて、学習データのジャンルを増やせれば解決しそうに(素人目からは)思えますが。

  6. 『プリパラ』主人公の真中らぁらさん。小学生でアイドル。声優がきりたんと同じ茜屋日海夏さん。

  7. VOICEROIDについてくる音声集。

  8. 最近就活を始めたので……。

  9. 別に今からできないなんてことはないのですればよいだけ。

マギレコアニメ中間感想

マギレコのアニメも第6話と1クールの折り返しに差し掛かった1ところで今のところの感想を書きます。 この先のストーリーについてのネタバレはしませんが、原作ゲームとの比較の話をしますし間接的にネタバレをしてしまっている可能性もあるので、ネタバレが嫌な方はご注意ください。

私のステータスを説明しておくと原作ゲームをサービス開始直後からやっていて、しかしまだ第1部を終わらせていないというところです(第1部第10章の敵が強すぎて進めない……)。 ということで久しぶりに原作を知りつつアニメを見ているわけですが、はい、今のところとても楽しく見られています。

実は始まる前アニメ化が発表されたあたりではあまり期待していなかったのですが2、PVが出てきたところで一転楽しみになりました。 無国籍風味だったまどマギ本編と違って、物語シリーズ系の「和」風味のシャフトだ!というのが第一印象。透明な舞台だった見滝原と違い、原作ゲーム的にも「神浜」という街に対してスポットが当てられていた部分が多かったので妥当と思えるところです。神浜の名は神戸と横浜からとられているわけですが、ED映像はみなとみらいなので3、どちらかというと横浜寄りの気持ちなんでしょうか。

いかんせん原作のストーリーは長い上、アニメオリジナルキャラも発表されていたので、アニメではかなりオリジナルストーリー寄りになるのかと思いましたが、今のところ原作のメインストーリーを概ねなぞっていますね。 むしろオリジナルキャラの黒江ちゃんが1話以降まったく出ていないのが面白い。

ソシャゲのアニメというと、ゲームの各キャラのファンのためにキャラを出し過ぎて収集がつかなくなりがちな印象があるのですが、その点を非常にうまく処理しているなと思います。 本筋のストーリー以外のところにはほとんど触れることなく、ちょっとしたカットに各キャラをうまくはめていく。 特に第2話でレナちゃんの変身として五十鈴れんさん(偽)が出てきたのはびっくりしました。 他にも第6話のモブキャラはちゃんと工匠学舎の制服を着ていたり[^3]。 ありあまる豊富な設定を活かして小ネタ的に丁寧に、しかし尺を使わずに原作ファンサービスを入れてくれるのは見事なところです。 ちなみに私が好きなのは里見灯花ちゃんと夏目かこさんです。特に夏目かこさんは出てこないかなと思っていたのですが、ちゃんと出てきましたね。

アニメという媒体は小説やノベルゲームに比べて情報量を盛り込みづらいものだという固定観念があったのですが、必ずしもそうではないとこのアニメで気づかされています。 というのも、一瞬で消えるカットや画面の隅に本筋以外の情報をたくさん埋め込めるのです。 調整屋で食べてるへんなケーキとか…。 こういうものは本筋を追うためには注目しないでいいということが明らかですから、むしろ一度目の視聴者を混乱させることなく、二度目三度目の人には更なる情報を与えられる。 ゲームをこういう形にうまくアニメに落とし込む人の腕に感服です。

情報を埋め込むだけでなく、アニメに適した形に少しだけ設定が変更されている部分も、今のところうまくやっているなと思います。 3話冒頭の灯花ちゃんとねむちゃんの登場シーン(回想シーン)は、原作では大富豪をやっていて突然革命された灯花ちゃんがキレてるんですが、それがアニメでは本の炎上になっています。 イヌカレー的などこまで事実かわからない誇張的な舞台装置を使ってアニメ映えする形にし、そして短いシーンでより二人のキャラを説明しているな、と。 あとレナちゃんが謝るシーンも、おそらく原作で徐々に変わっていったキャラを反映する形に変わっています。 ゆるゆりでは「もしいまのキャラで1話をやり直したら」という趣旨の「ゆるゆりR」というのがありましたが、それに近いものを感じます。 より深い感情が出ていてかわいさマシマシ。良き。

で、以上は原作勢視点からの良さだったわけですが、単純にアニメだけとみて考えると……キャラがかわいい! レナちゃんってこんなにかわいかったか???となって悶えてコマ送りして見ていました。ハンバーガーショップで涙目上目遣いになってるカットはやばい。 ふゆぅもかわいいしな、ほんとな……。

とまあ、そんな感じでございます。 マギレコは唯一まともに[^3]やっているソシャゲだったのですが、アニメになっても楽しめて良いですね……。 原作ストーリーについても書きたいことがあるんですが、それを書くにはこのあとのストーリーについて言及する必要が絶対にあるのでまたの機会に4


  1. そもそもこれが1クールなのか謎なところですが……。

  2. ソシャゲのアニメ化がうまくいった例をあまり知らないので……

  3. 昨夏にみなとみらいを歩いたので「あっ、あそこだ!」となって面白かった。

  4. 半年前くらいから書こうとしていたのに、アニメが始まって間が悪くなってしまった。

京都大学大学院を退学します

f:id:suzusime:20190930194146j:plain
これは記入前の退学願

本日令和元年九月三十日付で京都大学大学院理学研究科を退学します。

明日令和元年十月一日付で大阪大学大学院基礎工学研究科に編入学します。

……はい。
指導教員が阪大に移籍になった関係で大学を移ることになりました。人生いろいろあるもんですね。

学部からあわせて四年半いた京大もこれで離れることになります。
京都は良い街でした。会う人々もあまりに良い人たちでした。
精神的に追い込まれる経験(それも自分のせいで)を重ねながら勉強していった日々は青春でした。

京大は……良かった(過去形)というかんじです。
私の在籍していた四年半の間に京大らしい美風は根こそぎ奪われてゆきました。
もういったい何が残っているのかわかりません。
そういった方面で学んだのは無力だけでした。川添副学長へ呪いの言葉を残すくらいしか私にはできません。
(いったいほんとうは何が、誰がわるいのかなんてこともわからないのです)

名残惜しいようなせいせいするようななんともいえない気持ちです。中退だと卒業式もないですからね。

まあ、籍が変わるくらいで生活はそんなに変わらない気もします。
少なくともしばらくは、引っ越しが面倒だからと京都から通うことにしたので。
(実は京都の友人と気軽に会えなくなると寂しいというのが理由として大きいのですが)

平成の終わりに

昨日(平成最後の昭和の日)に大阪に行ってきました。大阪にいることをSlackに書いたら「大正駅で明治のR-1飲むやつやってきたら?」と促されましたが、なにかが嫌でやる気になりませんでした(逆張り的精神性)。そういうところがだめなんですね。

続きを読む

おんなのこが(普通ではない)麵を食べている絵

すき。

2chのスレ立て風)(そういえばもう2chって言わないんだっけ)

鳴瀬順さん

にせねこさんのpixivを眺めていたら出てきた。初めてこの手の絵を見て衝撃を受けた。なんかよくわからないけどすごくいい。

www.pixiv.net

鳩羽つぐちゃん

しなぎくさんの、つぐちゃんが激辛ペヤングを食べるシリーズ。

つぐちゃんについては「つぐちゃんが普通のユーチューバーっぽいことしているところがみたい」という風潮があるようで、激辛ペヤングはそういう流れっぽい。

二郎もいい。かわいい。

つけ麺もある。

香風智乃ちゃん

昨日ツイッターで流れてきた、チノちゃんが二郎食べるやつ。
www.pixiv.net


pixivには「ラーメン二郎」というタグがあって、それを見ると他にもいろいろ出てくる。

この感情をうまく表すのは難しいけれど、自分と同じ(少し自傷的なものを含む)感覚を共有できるのが良いのかもしれない。
なんだろうね、こう………

ちなみに私は池田屋が好き。あの醤油の味の濃さは最高。
辛いのは苦手(嫌いとは言っていない)。生の実感がほしくなったときにスパイシーの大辛を食べている。『ミミズクと夜の王』で茨に身を裂かれながら走るシーンがあって好きなのだけれど、そんなかんじ。

コマンドプロンプトのカラースキームを変える

たまにコマンドプロンプトでもvimが使いたくなるので香り屋版を入れてみたが、青文字が読めなかったりして厳しいのでパレット(カラースキーム)を変更した。

f:id:suzusime:20190124115331p:plainf:id:suzusime:20190124115347p:plain
ビフォーはなくて両方アフター

使用ツール

www.itmedia.co.jp
こういう話があったけれど、これは新規インストールの場合のみなので、そうでない場合は自分で設定しないといけない。

コマンドプロンプトのプロパティ画面から手作業で設定することも可能だが、Microsoft謹製のColorToolを使うと簡単。
github.com

Release(Releases · Microsoft/console · GitHub)からColorToolの最新版を落とす。

使い方

現在のコンソールの色を変更

colortool.exe -c campbell

現在のコンソールの色を変更して確認できる。
このcampbellが新しいコマンドプロンプトのデフォルト色。
カラースキームはschemesディレクトリの中にあるものを読み込める。
campbellの他にもいくつか入っていて、私はOneHalfDarkにした。

追加したい場合は、iTerm2用のカラースキームファイルが読めるらしいのでそれを借りてくるとよさそう。
github.com

新しく開くコンソールのデフォルト色を変更

colortool.exe -d campbell

余談

このリポジトリには他にConPTYのサンプルがある。
news.mynavi.jp
よくわかんないけれど、ちょっと面白そうではある。