音频应用

 找回密码
 快速注册

QQ登录

只需一步,快速开始

阅读: 479|回复: 0

[后期] 9 款最佳的免费 AI 词干分割器和人声去除器

[复制链接]

694

积分

0

听众

13

音贝

音频应用新手发布

Rank: 3

积分
694
发表于 2024-5-7 | |阅读模式
音频应用公众号资讯免费发布推广

6 |. ^; X) Q# e& R1 ]6 F9 Y1 w- ]9 W6 n1 [
AI 主干分离器(或词干分离器)是一种软件工具,可以将完全混合的歌曲文件拆分为每个乐器层的单独声音文件。这些层称为茎。人声去除器专门用于隔离人声,而其他主干分离器可以分离成更多主干,例如贝司、鼓和“其他乐器”。) N6 b( N, f' L3 c, ]
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/The-X-Best-AI-Stem-Sp.jpg ( C$ l( S& ~3 ~' k
主干分离器最常见的用途是创建混音、混搭、DJ 编辑和卡拉 OK 乐器。
0 i1 Z  o( {: u" v0 {: B/ K3 G  r3 l
这些工具使用机器学习算法,这些算法经过训练可以识别特定声音的频率素材并自动隔离它们(因此称为“AI”)。  _, E2 |4 Q# ?

% |7 q/ B+ L6 H/ K6 F% M$ g _url=https://blog-api.landr.com/wp-content/uploads/2020/01/How-to-Remix-a-Song_f.jpg
8 I, u7 C4 W' k  ^! C/ g& a许多人工智能词干分离器和声音去除器使用相同的开源算法,这些算法被封装在不同的包装器中。
2 [( p- d3 M1 Z( d4 _3 m# g
* p+ i0 a" x( _- ?两种主要的开源词干分割算法是 Spleeter(由Deezer 的音频研究团队开发)和 Demucs(由Meta 位于巴黎的 AI 研究实验室开发)。
! V$ o' d7 d' N  n, E. y9 }6 ^; ]: |; j
我们比较了多个选项,即使它们使用相同的算法,因为可用性和功能存在差异。
0 n# ?* O8 N( n# y _url=https://blog.landr.com/_next/image/?url=https%3A%2F%2Fblog-api.landr.com%2F.jpg
2 Q  c9 R* [) Y
4 k( x' ]7 Z( g3 x( v1 V8 r, E% D: j
1. Ultimate Vocal Remover 5 人声取出插件: {4 o3 Q6 p4 p

  y! {& S3 g) T4 L _url=https://blog-api.landr.com/wp-content/uploads/2024/04/Ultimate-Vocal-Remove.jpg 8 e: w  e) X) \% q2 C
对于那些密切关注音频分离技术的人来说,UVR5 是一款不可或缺的人工智能音干分离器和人声去除器,而且完全免费。
0 H! ?. {  {: y/ M) I! h  [8 ?- H8 \, o9 D/ f. n- f
你不仅可以选择不同的算法,甚至还可以使用 “合奏 ”模式,同时使用多种算法,让每种算法都能为你带来特定乐器的优势。  ]# y* f8 J2 y7 p/ o; g# S2 O
5 p, f+ @0 f% x/ @  k% i+ W
我们将它设置为 Demucs v4 模式,用了大约 6 分钟就把一首 6 分钟的歌曲分成了 4 个音轨(人声、贝斯、鼓和 “其他”)。  }* D" G/ S  v5 P! I+ Z
7 N) g1 U# I9 n7 F# Y( B- s0 f: y
虽然我们没有对每种算法和每个音乐层都进行测试,但总体结果质量很高。你的结果可能会有所不同,这取决于你的使用情况和设置。% B; r/ q( `- L8 Y; j

4 E) h& |; M" F! G& z; e我们还让它为我们的测试歌曲提供了一个乐器版本,具体做法就是去掉人声。
, N3 z9 P, Y: k2 S- p( B  }+ x9 {3 I5 {* _: t8 t/ l
有些人一开始可能会觉得参数有点吓人,但其实很容易学会,尤其是有了这样一份指南。
  q+ x7 r+ R2 m! H
( h" E" d' k) G/ k# l' _+ Y2 \1 O$ {6 i作为一款应用软件,它的整体可用性非常出色,我们认为对于任何想要进行人声去除或乐器分离的人来说,它都是不二之选。
0 f2 j5 H! M! S5 r
( b! l8 ~/ r% {( X, _% O链接:https://ultimatevocalremover.com/  ]. A: Q2 k8 r* o8 @

6 c% x! l$ s; o, N2. Gaudio Studio" q- a: f' G' z* M
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/Gaudio-Studiointext-1.webp.jpg
& D+ Y, g2 p" v' y0 a3 q) u; A" O  g市面上有很多基于浏览器的人工智能音干分离器和人声去除器。
' {, b, b. j* V% j' n( ^$ c4 a4 z8 X2 Z" m/ H1 R7 G8 A5 U% _' F. E
这些软件可能会在其专用处理器上运行你的分离效果,而不是在你电脑上的本地处理器上运行,这有时可能意味着更好的效果。$ g, N0 [0 ^" Y6 |( M+ D5 B

* \  }! O+ c4 B' ]) K+ D5 ]其中很多都不是免费的,但 Gaudio Studio 是个明显的例外。你只需用谷歌账户登录即可。5 V  Z6 U# R. e+ R5 V! U9 r
8 w9 ~, w3 J6 V. t1 d+ f4 E
登录后,上传要分割的歌曲、选择要分离的乐器层并将歌曲提交到队列中就非常简单了。
( y& ]% a8 I. D% L; N1 e, I/ w7 j& J* U" t/ z/ D0 Y
大约花了五分钟,Gaudio Studio 就把我们六分钟的测试歌曲分成了人声、低音、鼓和 “其他 ”主干。' u. S# L/ o* X+ @9 J! _$ `3 G4 W

3 P+ }+ p5 b+ b* F音质相当出色,即使与我们的 UVR5 测试相比,音源的清晰度也非常高。$ {; m( J! v2 |' t4 Z  {
' `' N, j& Q8 I. {6 u. x/ O
截至 2024 年 4 月,它目前还处于测试阶段,5 月份将升级到新版本。该网站没有解释此次升级的内容,因此我们希望这并不意味着他们计划在短期内将其货币化。2 X* r: H# \6 t6 _. w
链接:https://studio.gaudiolab.io/
6 l' Q1 x+ q5 U
# i0 h: @! B/ H& Z3. MVSEP( d1 ]) |9 I- {8 T7 P# f; N
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/MVSEPintext.webp.jpg
5 ~) \. X( n+ I6 |  C- |
$ @5 O, h, s* k9 N8 {如果你要使用音干分音器进行采样,最好储备一些专业的高质量材料。LANDR Samples 拥有出色的人声、低音、鼓声和乐器音色库,可供探索。# @& K2 E$ R/ ^

( e# v8 |  U; w
5 l' Q: K2 E9 k! V  h8 H3 }这款词干分割器有点像 UVR5,但它是基于浏览器的,而不是独立的。3 n) m, y% s. I* Y8 G8 ]1 d

1 K, f$ L  d0 z5 ?# ?9 T它允许你选择多种不同的型号、质量级别和输出格式。
/ e- z1 M9 S: Z7 I
/ A+ k, o- w+ B0 ^# {不过,你能使用的设置数量和其他优势取决于你选择的服务层级。
3 U& p% f' r& c
. ]  [3 D% |! D5 N% d3 i我们注册了一个免费账户进行测试,并将六分钟的测试歌曲分为人声、低音、鼓和 “其他 ”主干。0 W8 s7 B- Q! m! v+ X3 X
6 K$ P$ V3 T) ~3 F- r2 p
我们使用 Demucs v4 模型来查看与 UVR5 的质量是否有差异。我们用了大约五分钟,听起来质量没有明显差别。
1 p. O9 v" }7 X* a
. s$ W6 v7 j+ @+ l" z7 k我们不确定在 UVR5 免费的情况下付费购买 MVSEP 是否有优势,但你可以自己进行比较来确定。
8 T) W6 }$ t7 r; Q  X! Q3 s8 S8 L" {% l1 G' v* a3 h
事实上,MVSEP 网站的主要优势可能在于其文档和资源,而非工具本身。3 ?3 j& r5 K6 ^# e2 v  Y* |  j

9 I* P8 r* [. `# j, t你可以在他们的网站上找到不同音频分离算法的质量评级比较表,以及不同分离类型的庞大测试结果数据库。+ ?6 `: I2 G" T. s- b
& h$ G) k' Z# l9 o& v4 |
链接:https://studio.gaudiolab.io/
; O) R# z1 n5 L% Q$ \: \* j. L2 ?( |' D2 w4 D+ x/ b
4. StemRoller1 y; W4 R, U( O( J
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/StemRollerintext.webp.jpg
" v& \& y# [! P. g1 I  P, f; k4 SStemRoller 是另一款使用 Demucs v4 制作的免费 AI 音干分割器和人声去除器。+ V3 e* r9 V8 A  ^) [

+ p" o6 C" H2 G7 g它可在电脑上独立运行,但与 UVR5 不同的是,它不允许你使用不同的算法或其他设置。相比之下,它的功能设置要少得多。; v9 K, o6 u* ?; c0 R9 y+ V7 s
+ F+ d. {5 Q, m
不过,如果你因为要在太多配置中做出选择而感到茫然,这款软件或许值得一试。, j/ ~" X6 F! ]8 P0 H) F( j

' K7 t6 r3 A( D2 m: {- t6 F1 x0 R7 z$ A你只需将文件拖入窗口,它就会立即开始处理。- }( j& g! Q+ r9 G9 X+ P

6 n: P3 b2 i! R  O6 ]结果与在 UVR5 中运行 Demucs v4 的质量基本相同。
2 n: V' W* T: o" i2 ~2 I! ]* t) _6 k( [
除了常见的四个主干外,它还自动为我们提供了一个完整的器乐音轨,没有任何人声痕迹,听起来非常棒。
& y: s* K/ U) a3 I% {0 K1 d$ |! y& o9 M
开发者警告说,它可能需要大量的处理能力,并需要长达 15 分钟的时间来生成结果,但在我们的 M2 MacBook Air 上只用了几分钟。
2 q  q& C: x5 G0 |: O1 ^
& j  J/ M  _+ L+ \- `  z6 F+ K( W3 W; K* d/ y4 t* S& ^
链接:https://mvsep.com/en% [! e3 l0 @9 j* p* b7 G
  ~9 O# ^+ H9 U% \9 a  [; o

& H2 o. P; s0 Z7 H
7 X$ j& q$ y, n  ~5. Spleeter for Max
: p0 E+ `3 Z5 A0 k; q$ @( B _url=https://blog-api.landr.com/wp-content/uploads/2024/04/Spleeter-for-Maxintext.webp.jpg
  c' m' `2 d8 C7 u/ `" j7 {3 _' f1 _2 I% `  {+ ]
如果在 Live 中运行基于 Spleeter 或 Demucs 的音干分割器,它不会产生实时效果。它仍需要时间将源音频片段处理成干,这些干将以排列视图显示在时间线上。
8 \  H0 ^: T: r" _8 I# d2 w# q. A, q% W% `& Y( ~" b! X
' E" P" `* F; V; K5 S% \
我们有一个好消息要告诉各位 Max for Live 用户--有好心人制作了一款基于 Spleeter 的设备,你可以在 Ableton Live 中将其用作人工智能音茎分离器。& }% N# C$ c1 z

9 ?1 J5 X/ W5 J* \9 T; x6 Y3 }不过,对于不熟悉命令行安装的人来说,设置过程可能比较麻烦。你需要遵循几个步骤,在 macOS 上使用终端,在 Windows 上使用 CMD。
, \, j) G( v1 d% C
2 K, n* ]" u9 E( r另一个问题是,由于 Spleeter 算法无法在 M1/M2/M3 Mac 上本地运行,因此这款设备也无法运行。# P2 z  x" N2 \! o
; \6 N7 O1 E( A1 j9 O. S
尽管如此,我们还是在配备英特尔处理器的老款 MacBook Pro 上进行了测试。我们发现它很容易使用,甚至比我们测试过的基于 Demucs 的分音器更快地传送音茎。: d2 g, }/ O# ]3 T' }; N
, M3 E0 _4 G. E$ X; l
我们发现,它的质量不如 UVR5 或 Gaudio 好,但直接在 Ableton Live 中使用的便利性对某些用户来说可能是值得的。0 \$ F  E3 x2 B) S, h" N2 v+ z
$ }, q- P7 z+ U  u) F- v6 A
因此,如果你不介意安装步骤,又有一台兼容的机器,这可能是一个方便的选择。
# i; n2 {; n% @" v9 }% ~) p! J
4 h8 T, H$ e+ `0 D另外,如果你愿意花上 20 美元,也可以购买这款使用 Demucs v4 制作的 Max for Live 音干分割器。% L2 J4 u8 [0 {$ ?# q7 g' h
9 n2 Y3 G/ O3 E, ?* y" z, S
链接:https://www.maxforlive.com/library/device/5956/spleeter-for-max2 `* y1 K% s* a3 D3 \& U( h2 f( ?
- G0 x' k6 h( z8 }- ~( _
6. Vocal Remover人声移除器5 T/ \# ~8 h  ^6 \$ P2 a: p
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/Vocal-Removerintext.webp.jpg
3 T3 v8 I3 j% y% c7 E) H6 {
9 M9 J6 X7 P8 }8 I使用它是免费的,网站似乎也没有明确列出任何限制。
& i  @  ]0 A! T: f
  `1 L3 @0 p, G: c4 x然而,当我们试图进行多次测试或尝试完整的声干分离服务时,却被告知要么稍后再试,要么订阅开发者的 Patreon。) ]) `" r8 P5 Y5 {, F( w4 \2 Z
5 P6 m5 a  _; }* ]# C* j" O
由此我们推测,除非你选择付费订阅,否则免费版的 Vocal Remover 在两次使用之间会有一段不明确的等待时间。
  c  ]* T% p, T  Y4 p! M$ C  G7 B( m0 ]$ A/ l6 l
我们的人声移除测试很快,只花了几分钟就完成了人声和乐器的移除。
/ u7 H( Z' n/ S& A
) G/ p! ]. h( d但我们发现,与 UVR5 和 Gaudio Studio 相比,人声音轨与乐器之间有大量渗漏。
6 r, F/ z( X% [! g9 g+ p7 `9 c  r& i% [# |
链接:https://vocalremover.org/8 w4 P  g, P& b3 N

3 u5 n1 S" t, S7 K8 ~7.Fadr Stems/ s, Z8 h( x# \! q0 [5 z* y" T
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/Fadrintext.webp.jpg
) Y/ h2 x: m2 k" _* ~该网站提供人工智能词干分割器和自动混音工具。9 }" [, t6 T* R- t1 C% {; P

' ?; a, h7 K! {- j" k注册账户并选择免费计划后,Fadr 会将歌曲分成四个音干,并允许你以 MP3 格式下载。
9 T  j5 Y+ `, R* i9 R/ s% Q) L+ ]7 `& B' u) f
如果你想将歌曲分解成四个以上的主干,下载 WAV 格式的歌曲,并使用其他功能,你就必须切换到付费订阅选项。
# t1 M5 u1 m+ Q6 B免费版并不限制每月可分割的歌曲数量,而且 200MB 的文件大小限制似乎对免费版和付费版都适用。
) T+ a* o& H( P. b) K2 y) i
( ~( w  B; h. u9 Y8 n1 Y! Q/ A) l  N它能在五分钟内处理我们的测试歌曲,但处理结果并不是我们所见过的同类产品中质量最高的。
3 ^! w  M+ |/ _6 r' m" x3 g+ k8 `) P: h' j- w+ }5 W  w! r
链接:https://fadr.com/stems
2 u9 o  k1 _, v+ N: t# o, D3 E" S, ]7 u, |: @. d/ {
" k. p2 e& _7 \
/ N% V4 N3 I% }7 F
8. Audacity 的 OpenVINO 插件
. O9 m. X4 s. y  Z/ j; h! [. u8 Z _url=https://blog-api.landr.com/wp-content/uploads/2024/04/OpenVINO-Plugins-for-.jpg " B$ g0 V) n% ]8 v  m

5 d* i( @+ z3 _* T# [如果你还没有使用 Audacity 作为你的音频编辑工具,那么你一定要考虑一下它。, i  U3 w- ~) X. n# ]2 L
( x- q( p: c! j- P$ v' W
如果你已经使用 Audacity,那么你可能还不知道它可以承载通过英特尔 OpenVINO AI 工具包设计的人工智能音干分割器插件。
, p# ?2 d: T7 }! f1 V) z. e
3 k$ l# r+ q1 m) X5 M+ y' t/ E我们不知道他们是否利用其中一个开源模型构建了这一功能,但我们很想知道它的性能如何。9 v  I  e1 {* n: t; |4 g

/ Z" y- {  Y3 C" y8 V) H5 @4 x! C* I由于这款产品仅限 PC 使用,我们在 Windows 笔记本电脑上进行了测试。安装不像大多数插件那样简单,但也不复杂。
0 A6 A- \2 }, }5 v, x  T% Y4 r8 V' Y  t8 t* R. G4 |/ J% x; b
使用 GitHub 页面上的说明进行设置后,插件就非常容易使用了。
4 U& {! n8 `: {+ b7 s只用了不到十分钟,插件就制作出了人声、低音、鼓声和 “其他 ”音轨,并自动将它们作为独立音轨放置在时间轴上。
6 z, L& _! X+ Z* g就我们的耳朵而言,它的质量还不错,但比不上 UVR5 或 Gaudio Studio。不过,如果你经常使用 Audacity 并喜欢它的工作流程,它可能是一个不错的选择。* E6 x; \) Q  M

8 f2 B" w: h# ^  ^链接:https://github.com/intel/openvino-plugins-ai-audacity
. m8 [! t5 P" ^5 C3 X5 S' M
9 m# g0 k0 A  r( F+ S/ j( e9 {/ {( m* g/ b
AI 词干分离器和人声移除器的历史实际上比你想象的要长。
9 N' r4 A0 e, X+ M  C8 h1 s! G' |6 D2 P6 d  r. g
因此,你可以在自己已经拥有的音乐软件中找到音干分离功能。
; d# l& k3 N4 [( x' l9 H
8 c% l* v5 c1 k6 O; s" R. D! M# xiZotope RX 有 “音乐再平衡 ”功能,FL Studio 的制作人版及以上版本也有词干分离功能。5 ]: _& Y, P/ ]- ^5 N, j5 l( Y5 y4 _" E

5 w' e+ L  m: O* K这也成为 Serato DJ、rekordbox 和 VirtualDJ 等 DJ 软件的一项功能。
. E& t% M, z) d% k9 @5 d5 x3 z- o
8 b3 o, N# r' Z$ T, x5 n
( r+ t7 J3 Q+ O  ?" m4 L  J
欢迎厂家入驻,推文!免费!微信:yinpinyingyong
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

音频应用搜索

小黑屋|手机版|音频应用官网微博|音频招标|音频应用 (鄂ICP备16002437号)

Powered by Audio app

快速回复 返回顶部 返回列表