本文翻译自CGWORLD网站2020年12月28日报道。
原文地址：https://cgworld.jp/feature/202012-banadive1.html
ASOBINOTES ONLINE FEST 2nd（以下简称AOF2）已于2020年12月18日（周五）官宣举行。与第一届ASOBINOTES ONLINE FES（以下简称AOF，于2020年6月28日（周日）举行）相同，本届也是完全在线上举办的活动，活动将于2020年12月31日（周四）~2021年1月1日（周五）跨年举行。另外，活动预定于12月28日（周一）19:00开场、12月31日（周四）21:00开演。
(相关资料图)
TEXT_田端秀辉 / Hideki Tabata（@hitabataba）
EDIT_尾形美幸 / Miyuki Ogata（CGWORLD）
PHOTO_弘田 充 / Mitsuru Hirota
ASOBINOTES ONLINE FES（AOF）回顾
以“变化的世界 不变的狂热”为主题的AOF，共设置了“CHARACTER”、“GAME”、“VIRTUAL”、“AKIBA”四种风格为名的四个DJ舞台，邀请了30名以上的艺人参加DJ表演。活动全程直播，各位艺人带来的乐曲标题在SNS趋势上不断地实时传播，在网络上收获成千上万的评论，带来压倒性的体验。
▲ASOBINOTES PV
AOF2还公布了多位艺人的竞演环节，其中就包含了“未来小町 × 大久保博”和“电音部企划”两项，这也是笔者在AOF中特别关注的话题。非常期待他们在AOF2中呈现的效果将会有怎样的进步。为了深入挖掘这个话题，我们采访了大久保博先生（BanaDIVE™ AX开发者）和子川拓哉先生（《电音部》总制作人）（※）。本次访谈将会分为前后篇。非常荣幸能为大家带来AOF2举办前的预告。
※ 本次访谈采访于2020年7月10日，并结合2020年12月28日前公开的信息制作而成。
接下来的前篇，将会介绍除了DJ表演外，还可以使用音乐控制整个DJ舞台体验（即一切由音乐驱动）的BanaDIVE™ AX（利用游戏AI与xR技术的互动式虚拟角色表演系统）其设计思想，以及作为创造它的土壤的大久保先生的开发者生涯。
BanaDIVE™ AX开发的契机 为何未来小町成为了DJ
田端秀辉（以下简称田端）：是怎样的契机，让您开发出了BanaDIVE™ AX呢？另外也想请教一下让未来小町进行DJ活动的缘由。
大久保博先生（以下简称大久保）：未来小町的DJ表演，最早是作为Bandai Namco Entertainment Festival（2019年10月19日~20日举办，以下简称万南Fes）的场外演出进行的。
子川拓哉先生（以下简称子川）：在东京巨蛋举办万南Fes的同时，我们也在东蛋旁边的LaQua举办场外演出。我们觉得普通的舞台不够有趣，因此就想出了一个“让未来小町当DJ”这样的企划。
▲左起分别为子川拓哉先生（万代南梦宫娱乐）、大久保博先生（万代南梦宫研究所）
大久保：万南Fes的演出有《偶像大师》系列、《LoveLive!》系列等等万代南梦宫集团各种各样的偶像和艺人出演，但是游戏音乐的元素并没有多少。
田端：确实是这样！明明是（开发很多游戏的）万代南梦宫集团，不知道为什么游戏音乐的身影确实不多见。
大久保：在与ASOBINOTES（※）团队讨论的时候，提出了“制作一个可以‘玩’音乐的舞台会很有趣”、“强调游戏音乐这一元素”这种想法，并延申出“以DJ形式展现游戏音乐”这样的企划。在活动期间，未来小町以担任Asobi Store的期间限定店长的形式，为大家带来DJ表演。
※ASOBINOTES：万代南梦宫娱乐公司所属的生产音乐娱乐事业相关内容的厂牌。旗下艺人除了万代南梦宫工作室（以下简称BNS）的音乐团队成员（バナスタサウンズ，万南工作室Sounds）以外，还有大久保先生和未来小町等人。
田端：Vocaloid、表情交流机、DJ等等，未来小町的工作范围真是广得惊人呢。
▲于CEATEC 2019发表的基于未来小町的表情交流机。
子川：至于为什么是DJ，这是源于我之前担当负责的名为ANI ON STATION的角色联动咖啡店，在店内举办过多次DJ活动。
大久保：万南Fes是使用BanaCAST（※）将未来小町的各种各种动作模式事先录制好，然后我负责用After Effects把背景合成进来，然后用Premiere里编辑对上音乐的音轨，制作了30分钟的DJ视频。
※BanaCAST：由BNS开发的，利用最新的动作捕捉技术与高品质的实时CG角色的互动型演出内容制作服务。
▲在万南Fes（2019年10月19日~20日 举办）的场外活动披露的未来小町的DJ表演
田端：大久保先生是BNKEN（万南研，万代南梦宫研究所）的创新战略本部的本部长吧？视频的合成和编辑这种工作没想到还要自己来做呢（笑）。
子川：这种事情好像还挺多的。为什么大久保要这么做呢。（笑）
大久保：大概是因为喜欢吧（笑）。我的上司堤先生（堤康一郎先生／BNKEN执行役员·创新战略担当）看了未来小町的DJ表演之后，提出了“我们把它AI化，并参展SXSW（西南偏南）”的想法。虽然这个企划开始全面落实已经是2019年11月中旬了，距离SXSW只剩大约3个月的时间，但是BanaDIVE™ AX的开发突然启动之后，已经进展到了可以在线下现场表演的阶段了。然而之后由于新冠疫情的蔓延，SXSW于3月初宣布取消活动，我们放弃了参展的想法，转而寻找新的举办展示会的机会。
※西南偏南（SXSW，South by Southwest）：每年3月在美国得克萨斯州奥斯汀举办的全世界最大规模的电影、音乐、互动娱乐相关会展。2020年，原定于3月13日~22日举办的、BNKEN作为赞助商参加的SXSW Gaming Expo展会，因新冠疫情影响取消。
子川：最初我们的计划是，在SXSW上进行BanaDIVE™ AX的演示实验，并在2020年6月的ASOBINOTES FES上进行日本国内的首次亮相。不过ASOBINOTES FES在此之后也放弃了线下举行，转为完全线上直播的举办方式。由此我们决定使用BanaDIVE™ AX的未来小町的DJ首演也这样（线上）进行。
▲AOF（2020年6月28日 举办）上首次披露的未来小町DJ表演。未来小町加入了BNS音频团队（BanaStu Sounds），并在GAME舞台进行了表演。演出中加入了观众投票决定下一首歌曲、将手机对准电脑屏幕就会有AR画面效果等等近未来的演出体验，为观众带来令人兴奋的演出表现。（原文链接为精选剪辑，这里的视频链接是完整版）
未来小町的DJ表演 想了解用这种歌单的缘由
田端：未来小町的DJ表演是从她自己的歌曲《Future Melody - 心から未来へ -》开始，紧接《山脊赛车》系列歌曲，然后是《偶像大师》系列，最后以《太鼓之达人》系列的《埼玉2000》结尾。想要了解使用这种Set List（歌单）的缘由。
※当天的歌单可参考此图。
子川：歌单中包含了我自己的需求，由大久保来制作完成。
大久保：第一首歌，因为是未来小町的DJ表演，当然要选一首她自己的歌。在此之后的《山脊赛车》系列歌曲，是因为我自己对这个系列的歌曲非常熟悉，选择起来比较简单。在此之前举办的多场《山脊赛车》系列的DJ活动，都受到了观众的欢迎，因此我想GAME舞台的各位观众也会比较欢迎。《偶像大师》系列也是类似原因，应该会比较符合GAME舞台观众的相性。
田端：真是超出预期的回答。但是到了观众通过投票选择下首歌的环节，无论是哪个选项都让我想说“这很难选啊！”（笑）
大久保：第一次投票的选项是《EUPHORIA（RR 20th Anniv. Mix）》和《Drive U 2 dancing （AJURIKA Remix）》，最终观众选择了后者。这两首都是佐宗绫子女士作曲的《山脊赛车》系列的人气歌曲的Remix版，我也觉得“这没法做选择吧”。
田端：第二次是《偶像大师》系列的《スタ→トスタ→ -AJURIKA Remix-》（作曲：大久保博）和《キラメキラリ -おおくぼひろし Remix-》（作曲：神前晓，Remix：大久保博）。最终观众投票结果是后者，而我在选项面前纠结了好久，等到注意到的时候投票时间已经结束了。
子川：两首都是和大久保有关的曲子呢（笑）
大久保：因为想让大家在选择的时候犹豫“选哪个呢……”，最后和我预想的一样呢（笑）。投票的总数达到了上万票。直播平台Twitch上只可以投一票，但是在手机AR那里可以连续多次投票，应该有一部分的观众连续点击手机画面投了很多票吧。
▲用手机拍摄PC屏幕，会出现AR特效飞跃而出的效果。在线投票也可以通过这台手机完成。
田端：像在DJ舞池里跟着节奏摇摆的感觉，很有趣呢。最后的乐曲选择了《埼玉2000》，是出于什么样的理由呢？
子川：因为这首歌是我最喜欢的游戏音乐，因此提出了“请加进歌单”的请求。有把气氛炒热真的很开心。
大久保：和万南Fes的未来小町DJ表演一样，那一次歌单也是我做的，《太鼓之达人》系列的曲子很受大家欢迎。AOF里《埼玉2000》和之前的那首《Rotterdam Nation Remix》（作曲：细江慎治／《山脊赛车》系列）之间衔接的很漂亮，收了个不错的尾。
田端：真的接的很漂亮，曲子一开始变化的时候我都没察觉到。
大久保：未来小町自身角色的可爱和歌单的风格形成了鲜明的落差，收到了很多观众们“可爱但是坏坏的DJ”这样的反馈（笑）。其实这是因为虽然有过“把动漫歌曲（Anisong）加入进来”的想法，但最后还是遵从了“既然是GAME舞台的DJ表演那当然要用游戏音乐”。我认为选曲风格更近似于游戏音乐的活动上DJ会放的歌。
子川：虽然这次的主要目的还是对BanaDIVE™ AX的演示实验，但是我们收到了对DJ表演本身的赞赏，非常感谢大家。也收到了“未来小町的DJ表演太棒了”这样的评论。
田端：未来小町的DJ表演结束后，就是大久保先生自己的DJ表演了。两边的表演现场都看过之后，我有股“DJ未来小町像大久保先生的女儿一样”的感觉。不仅仅是选曲的因素，（对小町）充满情感也是让我有像女儿这种感觉的原因。
▲大久保先生在AOF的GAME舞台进行DJ表演。2020年12月31日~2021年1月1日举办的AOF2当中，未来小町将会和大久保先生共同出演。这次除了可以体验在线投票、AR特效之外，还可以欣赏到未来小町和大久保先生轮流播放歌曲的Back to Back（B2B）的DJ表演。
子川：可以说是融入了大久保先生的人格，很有趣呢。
大久保：未来小町动作捕捉演员也是我来负责指导的，所以说我的影子还可以在其他各种地方看到（笑）。
因为会的多 所以开发了BanaDIVE™ AX
田端：BanaDIVE™ AX这个名称，有着怎样的含义呢？
大久保：在BNKEN，我们进行各种将数字化与现实结合起来的研究，这些研究统称为BanaDIVE™（BandaiNamco Deep Immersive Visual Enhancement）。例如在CEATEC2019当中，我们与Sunrise合作，展示了将《机动战士高达 THE ORIGIN -RISING-》的CG钢坦克，与实拍的丸之内商务区合成出的VR影像。由AI驱动的DJ系统，将来应该也会和xR的研究结合起来，因此取了AI的“A”和xR的“X”，将其命名为BanaDIVE™ AX。
田端：在BanaDIVE™ AX的新闻公告中有“开发：万代南梦宫研究所；开发协力：SmileBoom”这样的版权信息。想请教一下开发体制是怎样的。
大久保：本系统的实现过程中使用到了许多组件，其中包括乐曲的分析、DJ表演的动画程序等。有关乐曲的节奏（BPM）、Beat（拍子）、副歌（高潮段落）等等的解析，我们使用了CRIWARE的BEATWIZ中间件来完成。而程序整体的软件开发，则是由SmileBoom来协力进行。根据我方的设计框架，他们完成了基于乐曲的分析结果生成动画和舞美效果的程序。
企划刚开始的时候，我的脑海中就已经把组成BanaDIVE™ AX的全部组件都列出来了。我个人除了音频环节之外，还负责管理动作捕捉和动画团队，所以为了让各个团队之间的技术组合起来完成目标，在很早的阶段就已经规划好了。
田端：我一直只把您当做音乐方面的专家，没想到动画也精通啊？
大久保：是的。虽然我是以音乐创作者的身份入职南梦宫的，一直在音频团队里担任音频开发的角色，但是因为对CG和影像感兴趣，所以偶尔去帮个忙。因为这样一层背景，在后来的组织变更的过程中，逐渐担当起了动作捕捉团队、动画团队、影像团队的管理角色。
田端：能力很多元啊。
大久保：在像素画流行的年代开始，我就对音频和绘画很感兴趣，积累了很多的经验。以一次在NIFTY-Serve（日本早期网络通信服务商）的Mac相关论坛投稿原创图标的经历为契机，我开始在各种媒体上发布免费软件。由此，虽然我是音频团队的，但在《山脊赛车》系列、《皇牌空战》系列、《爆钻小英雄》系列当中协助了图标和像素画的制作。所以有些作品上面在视觉艺术担当一栏写的是我的名字。3DCG方面也是类似情况，我从Toyo Links（现IMAGICA，日本大型影视动画公司）用Metaball（一种早期CG渲染技术）来制作电视广告的时候（1984年前后）就开始关注了，所以当我工作范围扩大的时候并没有感受到什么违和感。
现在BNS负责管理动作捕捉团队的大曾根淳，和我是同期进入公司的，在新入社员研修班是同班。我对CG很有兴趣，而他是CG开发部的，所以和他讨论了各种各样的相关话题。他统管动作捕捉团队之后，也和他交流了很多动作捕捉相关知识，这些知识也就自然而然的为我所用了。
田端：因为有这些经历，所以有了开发BanaDIVE™ AX的想法吗？
大久保：与其说是因为经历，不如说是因为迄今为止的经验和知识塑造出了这样的想法。因为拥有DJ经验，所以能构思出让角色出色进行DJ的AI逻辑；因为有游戏音乐相关知识，所以能够使用这种以编程的方式制作互动式音乐的手法；因为有CG动画相关知识，所以能够将动画状态（Animation Tree，也译作动画树）机构建起来，并且自然的想象出为了构建这样的状态机需要怎样进行动作捕捉动画的收录。
当我把自己的知识和经验汇总起来时，就整合出了项目完成所需的全部组件。另外，BNKEN和BNS在各个领域有很多的专家，所以我可以向他们展示我的想法，确认“这样有没有问题？”，并得到他们的建议。如果是一个由DJ、AI、音频、CG动画等领域的专家分别组成的项目，反而可能不会这么容易成型。
不仅只是DJ表演 舞台体验的其他部分也由音乐驱动
田端：在AOF中，未来小町的DJ表演时间大概是20分钟。需要怎样的提前准备可以达到这种表演效果呢？
▲AOF中未来小町进行DJ表演所用的现场系统，分为主机和备份机两台。本图出自CEDEC2020《游戏开发技术创造演唱会新体验（DJ未来小町开发案例）》分享会的演示材料。
大久保：BanaDIVE™ AX这套系统，是以事先分析完成的乐曲数据为基础进行DJ表演的。另外角色动作、舞台照明、VJ视频、AR影像等等，均由同一套数据来驱动。也就是说不仅是DJ表演，一切的舞台体验都由乐曲数据来驱动。当今的大多数DJ都使用DJ软件提前分析歌曲数据，并带着保存这些数据的U盘来到舞台上。比较有代表性的DJ软件有rekordbox（Pioneer DJ）、TRAKTOR（Native Instruments）等等。在iPhone上也有WeDJ for iPhone（Pioneer DJ）这样的App，在iTunes里购买的歌曲可以由这个App来进行分析。
例如在WeDJ for iPhone中，播放两首想要接的歌曲时按下SYNC按钮，两首歌的节奏就可以进行匹配（自动对拍），然后就可以在恰当的时机操作交叉推子过渡了。有经验的DJ往往就不用SYNC按钮，靠自己的耳朵就可以把两首歌的节奏匹配上。不依赖外部技术，靠听两首歌就能调整真的很帅（笑）。但是在AI驱动的情况下，还是使用自动对拍比较好。
田端：就是说，和当今的DJ一样，BanaDIVE™ AX也是预先对乐曲进行分析，而这一步是在DJ软件或者BEATWIZ这种中间件来自动化完成的。
大久保：是的。但是究竟能否完全的自动化，我认为还有继续研究的余地。例如俱乐部音乐这种类型大多构成简单，相对来说分析会更容易。与之相对，动画歌曲（Anisong）和游戏音乐的音乐风格更加多样，乐曲构成更加复杂，很难完美的进行分析。在实际操作中，虽然正在用DJ软件的DJ很多，但是不能只依赖自动分析出来的歌曲数据，而是要事先进行歌曲衔接部分的确认，手动设定标记点。未来小町的DJ表演也是在乐曲分析的基础上，由我来设定标记点的。
田端：未来小町的DJ表演不仅包含了机械式的自动分析，也融合进了大久保先生的个性呢。那也就是说，如果由子川先生来打标记点的话，就会变成不一样的DJ表演了？
大久保：确实是这样。越细致的去设置这些标记点，未来小町的DJ表演就会变得越完美。人类进行DJ表演时也是这样，越是不那么厉害的DJ，预先准备时越要细致。
田端：可以请您介绍一下两首歌进行衔接的AI逻辑吗？
大久保：我们使用的AI不是以深度学习为代表的那种级别的AI，而是被称为状态机（State Machine）的游戏AI技术。比如《吃豆人》当中的游戏AI，就是监视吃豆人的状态，设置“在吃豆人到达某坐标时，粉色怪物就会以该坐标向前3像素为目标，进行前进动作”这样的if判断代码，来驱动怪物的运动。在BanaDIVE™ AX中，是基于分析好的数据和标记点，对歌曲的状态进行判断，从而控制角色的DJ表演、动作、舞台照明等等。
田端：如果在场观众的氛围非常高涨时，BanaDIVE™ AX的游戏AI可能作出“比最初预定的时间延长一些”的判断吗？
大久保：AOF上是不行的。虽然可以遵循“接的短一点”、“接的长一点”这些人给出来的指示，但是还不能基于观众的反应进行AI的判断。目前我们还是只能通过观众在线投票来间接反映观众的反应情况。不过，庆应义塾大学湘南藤泽校区（SFC）的德井直生先生等人基于观众的人数和动作来选择下首播放的歌曲的研究（※），就使用了机器学习。正在考虑哪天能够和这种选曲研究进行合作。总体来说，“表演成什么样”相关的研究是我们下一步工作的重点。
※Multi-Motion Crossfader: Human Tracking DJ Mix System by Crowd Reading（Yuga Kobayashi, Ryo Nishikado）。
我们毕竟是所属于娱乐公司，所以在活动现场使用游戏AI的逻辑，营造了一个角色可以自己进行DJ表演这种感觉的舞台，观众可以通过在线投票的方式加入进来，体验“由AI舞动出的未来”。从技术人员的角度来看的话，只要专精于技术就好了，但是当技术与未来小町这一角色形象结合起来，还是希望可以为了创造娱乐体验而进行实验。
田端：前面您提到“不仅是DJ表演，一切的舞台体验都由乐曲数据来驱动”，以未来小町双手举起拍手这一动画为例，AI是以分析出的乐曲数据和标记点为基础，判断出什么地方需要拍手的吗？
大久保：是这样的。举例来说，如果分析的结果是“UP”的话，就会在“UP”的目录当中随机选用一种动画样式。在此基础上，我们再给出“这个地方想要跟随节奏做动作”的指示。DJ器材的操作动画与DJ表演的驱动进行同步，在推子应该上下移动时，未来小町也会进行用手推上推下推子的动画。在接下一曲时，也会准确的触碰选歌旋钮。推子和旋钮的操作动作，是将各自的坐标信息与之间的坐标信息进行匹配后，使用IK自动计算各个关节的角度，而非动作捕捉生成。这一系列动画的混合，是SmileBoom的视觉担当，与BNS的动画师一同讨论调整的。虽然还有很多改进的余地，但是已经和人的真实动作接近了。
田端：然后，舞台照明、VJ视频、AR影像等等，也是完全由音频驱动的吧？
大久保：是的。另外扬声器的律动、摄像机的切换时机，也是根据4小节、8小节的节拍这样计算控制。
田端：AOF活动中镜头也跟着歌曲节奏进行切换，这是现实的Livehouse无法见到的画面呢。因为是平时无法见到的画面，所以有着不可思议的体验。
大久保：SXSW的舞台原本设计有正面、右侧、左侧的三个不同画面。AOF时只有一个画面，因此需要切换为面向直播使用的镜头设计。AR影像也是在SXSW的阶段就计划添加，将手机摄像头对准正面的画面，就可以展现在会场中飞舞特效的演出效果。VJ视频则是使用Resolume这个VJ软件通过程序控制的。我自己也做过VJ，我自己习惯使用，所以在BanaDIVE™ AX中采用了这样一个通用的VJ软件。
田端：真是多才多艺啊（笑）。
大久保：在BanaDIVE™ AX中，DJ和VJ使用的是大家通常使用的数据和素材格式。我认为音乐的编成应当由DJ来进行，视频的制作也应当由VJ来进行，而非由软件工程师全部负责。把专业的部分交给专业的人，绝对可以塑造高质量的舞台。因此，我们开始的目标就是打造一个DJ和VJ可以像平常一样使用的系统。
田端：BanaDIVE™ AX可以应用于未来小町以外的角色模型吗？
大久保：目前，因为模型的不同，IK效果还有些不匹配的情况，希望将来可以实现简单的模型导入替换。目前项目还在开发过程中，相关的规范还在和ASOBINOTES团队探讨。我和子川每次见面，也都会谈到“这里我想这样”、“那里我想改进一下”这样的构想。
子川：就在这次访谈前我们刚讨论了这个话题。在我的角度上，我非常希望可以借助BNKEN的技术驱动角色进行DJ表演，打造能够和观众共同营造热烈氛围的活动。
大久保：我很期待。
（翻译注：后续在电音部企划已实装该系统，并应用在GAME在线直播及namco TOKYO线下店。）
访谈前篇完。
本文允许转载，如需转载请私信联系UP主，并标明UP主名称，谢谢！
