Dumme是一家将 AI 实际用于视频编辑的初创公司,在向公众开放之前就已经产生了需求。这家由 Y Combinator 支持的公司有数百名视频创作者在测试其产品,该产品利用 AI 从 YouTube 内容创建短视频,并有超过20,000 个预发布等待名单,它说。Dumme 结合使用专有和现有的 AI 模型,承诺它不仅可以节省编辑时间,而且——这是它的一大主张——比合同制(人类)劳动力做得更好,后者通常承担更卑微的任务视频编辑工作,例如剪裁长篇内容以便在 YouTube Shorts、TikTok 或 Instagram Reels 等短篇平台上发布。
Dumme 联合创始人兼首席执行官Merwane Drai成立于 2022 年 1 月,是创业加速器 Y Combinator 的 Winter 2022 计划的参与者,他说他最初专注于构建视频搜索引擎。但大约六个月前,该团队意识到更好的产品可能是重新利用他们正在开发的相同 AI 模型来编辑视频剪辑。
联合创始人Will Dahlstrom (CPO) 和Jordan Brannan (CTO) 都具有 AI 背景,Drai 意识到 Dumme 在他们的应用程序病毒式传播并导致服务器崩溃后可能找到了合适的产品市场契合点。
“我们真的没想到它会有很大的吸引力或其他任何东西,所以我们只是在那里放了一些东西,”Drai 解释道。“然后发生的事情是,一夜之间,我们醒来时发现服务器超载了——好像什么都没有真正起作用。所以我们把所有东西都记下来,实际上放在了某种候补名单上,”他继续说道。“第二天早上,我们醒来时可能有 5,000 人在那里,这很有趣。”
该团队后来发现,一位 TikTok 创作者发布了一段关于该产品的短片,这给他们的网站带来了大量流量。“它实际上从未因此而平静下来,”Drai 指出。该产品发音为“dummy”,吸引了创作者,因为它旨在简化和加快与视频编辑相关的工作。
顾名思义,使用 Dumme 非常简单。首先,用户粘贴 YouTube 视频的链接,然后单击“生成”,AI 将输出一些短视频,展示所摄取内容的亮点。该公司表示,它使用 YouTube 作为来源,而不是支持原始视频片段,以便外包内容审核——也就是说,如果 YouTube 允许,Dumme 也允许。
处理时间和生成的剪辑数量将取决于原始视频的长度。
但作为一个例子,一个小时长的视频播客可能需要大约 20 分钟的时间来处理,你将在大约五分钟后开始接收剪辑,Drai 说。完成后,创作者可以下载默认小于 60 秒的视频剪辑,并将它们上传到任何支持短格式内容的平台,如 YouTube Shorts,以及其他平台,如 Reels 或 TikTok。
当然,这一切在后端的运作方式要复杂得多。该公司表示,最初,Dumme 将通过元数据从源视频中尽可能多地学习。然后它会转录视频并尝试理解所说内容的语义,同时还会查看帧以尝试解码说话者的情绪。这些发现相互关联并传递给语言模型,该模型试图确定视频的哪些部分值得剪辑。然后将其移交给另一个模型,该模型跟踪活跃的扬声器并处理裁剪。
Dumme 表示,它正在使用现有的人工智能模型,如 GPT-4、Whisper 的微调版本和它内部构建的其他模型——比如在视频帧中跟踪活动扬声器的模型。它的一个模型也在一堆 YouTube Shorts 上进行了训练,以了解什么是吸引观众的良好开场白。而且,虽然还没有上线,但该团队还在试验一种开源模型,来自 Facebook Research 的LaViLa ,以便更好地理解视频的上下文。
AI 工作正在 GPU 云提供商CoreWeave上完成,而不是 AWS,因为它更实惠,该公司告诉我们。
由于 Dumme 依赖于处理口语的 AI,因此该技术不适用于长时间的游戏视频或其他人们不说话的内容。Drai 说,这家初创公司最初的目标是 YouTube 创作者、播客和代理机构——他们认为后者是通过产品获利的最佳选择。
Drai 解释说,如今,机构经常将这类工作外包出去,但结果并不理想。
“他们只是付钱给廉价司法管辖区的承包商,让他们编辑自己的内容。问题是它实际上仍然非常昂贵,而且需要很多时间——需要数周,而不是几分钟,”他说。
当被问及他对创造一种实际上会让人们失业的技术有何看法时,Drai 并不担心。“我的想法是,最终……我认为这就像告诉我数学老师将 [被] 失业,因为有一种叫做计算器的东西……”他解释道。“人们会适应的。然后会有人教你计算器,对吧?所以我认为这只是适应这一点的问题,”Drai 说。
早期采用者一直在使用 Dumme 进行各种编辑,包括从他们的视频播客中生成剪辑以发布到 Shorts,以及剪辑其他新视频并浏览他们的旧目录。
该产品似乎与市场上的其他 AI 技术具有竞争力,包括来自创作公司Jellysmack的技术,该公司一直在利用AI 将较长的 YouTube 视频变成较短的视频,通过剪切、调整大小并针对特定平台进行优化——结果其 2021 年 Kamua 的收购。其他执行类似工作的工具包括Vidyo.ai、Detail、TubeBuddy、Wisecut等。Dumme 在多大程度上成功或失败将取决于在工作质量和成本方面是否优于竞争对手——这些指标尚未确定。但一些投资者将赌注押在了 Dumme 身上。在推出之前,这家初创公司从 Y Combinator、Caffeinated Capital、Max 和 Nellie Levchin(通过 SciFi VC)、Suhail Doshi、Nico Chinot、Protocol Labs、Chris Puscasiu 和其他天使投资人那里筹集了 340 万美元的种子轮融资。