音频应用

 找回密码
 快速注册

QQ登录

只需一步,快速开始

阅读: 472|回复: 0

[后期] 9 款最佳的免费 AI 词干分割器和人声去除器

[复制链接]

694

积分

0

听众

13

音贝

音频应用新手发布

Rank: 3

积分
694
发表于 2024-5-7 | |阅读模式
音频应用公众号资讯免费发布推广

) d0 Q9 W5 ~; T) a7 t" F& H8 [, q) z/ L6 a1 u  a9 i* A# W& g3 u
AI 主干分离器(或词干分离器)是一种软件工具,可以将完全混合的歌曲文件拆分为每个乐器层的单独声音文件。这些层称为茎。人声去除器专门用于隔离人声,而其他主干分离器可以分离成更多主干,例如贝司、鼓和“其他乐器”。
( ?) g6 N* W/ m% d+ Z' Z' u _url=https://blog-api.landr.com/wp-content/uploads/2024/04/The-X-Best-AI-Stem-Sp.jpg
, j8 R4 ?% \; M* p, n, `/ X主干分离器最常见的用途是创建混音、混搭、DJ 编辑和卡拉 OK 乐器。
! ~) C% E( q- Q/ T& o6 I0 S9 Z. T
这些工具使用机器学习算法,这些算法经过训练可以识别特定声音的频率素材并自动隔离它们(因此称为“AI”)。& ~2 s& Z5 F& X" O& g- @
2 ~0 r/ c  \, t# e- U! B5 i
_url=https://blog-api.landr.com/wp-content/uploads/2020/01/How-to-Remix-a-Song_f.jpg 1 f2 i: r7 ^' K
许多人工智能词干分离器和声音去除器使用相同的开源算法,这些算法被封装在不同的包装器中。
( u6 a# I% i. I( F9 y5 _# l- {8 o, V( s7 V
两种主要的开源词干分割算法是 Spleeter(由Deezer 的音频研究团队开发)和 Demucs(由Meta 位于巴黎的 AI 研究实验室开发)。  O% _/ l& {9 j8 `- j/ ^# m
* B+ i3 O3 F5 l" [  g4 B+ T/ \0 P1 X8 o
我们比较了多个选项,即使它们使用相同的算法,因为可用性和功能存在差异。  ^# v2 `+ n9 k) `( e
_url=https://blog.landr.com/_next/image/?url=https%3A%2F%2Fblog-api.landr.com%2F.jpg ; B& g, h$ i8 {. X: ~

  d2 ~$ `4 o7 N  Z9 w
9 M/ b( g: ?8 ?3 o1. Ultimate Vocal Remover 5 人声取出插件
5 I& C3 H; }6 O# L' {3 h% ^9 p/ s8 m9 t5 R( o! S
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/Ultimate-Vocal-Remove.jpg
1 Z9 c! V1 w% o6 H: J对于那些密切关注音频分离技术的人来说,UVR5 是一款不可或缺的人工智能音干分离器和人声去除器,而且完全免费。
7 `4 V/ g# b7 y: E# Q( w" E
7 @) v& `6 @( v% s8 }8 D$ q5 \你不仅可以选择不同的算法,甚至还可以使用 “合奏 ”模式,同时使用多种算法,让每种算法都能为你带来特定乐器的优势。/ K* o8 Q$ r5 D% V; x; p

4 ~# O2 g4 E8 _/ D' Q+ o我们将它设置为 Demucs v4 模式,用了大约 6 分钟就把一首 6 分钟的歌曲分成了 4 个音轨(人声、贝斯、鼓和 “其他”)。
9 P. o# _+ Z# O1 \3 j1 m; _
" X" j& }: F! w虽然我们没有对每种算法和每个音乐层都进行测试,但总体结果质量很高。你的结果可能会有所不同,这取决于你的使用情况和设置。. _  s4 N' h; l& J. a8 d
. f6 x3 p# J- P8 Y+ x9 U8 M
我们还让它为我们的测试歌曲提供了一个乐器版本,具体做法就是去掉人声。
- i' X' {2 C+ w% j
, o+ g" B5 m9 P: L' R有些人一开始可能会觉得参数有点吓人,但其实很容易学会,尤其是有了这样一份指南。7 W  j7 E$ g$ Y" w
! V' o& {- f$ Q0 W0 s$ k* }
作为一款应用软件,它的整体可用性非常出色,我们认为对于任何想要进行人声去除或乐器分离的人来说,它都是不二之选。+ |) G$ K' J% S# q' e

6 G) `( o% }8 D/ K! p* ^, o链接:https://ultimatevocalremover.com/# b+ E+ g2 I# J! i

$ O2 B1 [3 ~; y2. Gaudio Studio. `6 D4 S) X1 }2 A
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/Gaudio-Studiointext-1.webp.jpg + V! q/ \( m, L
市面上有很多基于浏览器的人工智能音干分离器和人声去除器。% J2 c8 E$ h' K2 g1 v$ p
' s! E5 ]6 R( E8 ]
这些软件可能会在其专用处理器上运行你的分离效果,而不是在你电脑上的本地处理器上运行,这有时可能意味着更好的效果。+ y0 \8 p, ^. Z0 R+ G# h' K; \
: e" z! Z5 C& {
其中很多都不是免费的,但 Gaudio Studio 是个明显的例外。你只需用谷歌账户登录即可。
1 P( k& f1 Q* X) F6 U7 @
& E% U* y9 Q' t  Q/ _登录后,上传要分割的歌曲、选择要分离的乐器层并将歌曲提交到队列中就非常简单了。
3 u- j& D& M# v: `( ?+ _2 |6 f% A$ z' c) C3 V  Q. m  H
大约花了五分钟,Gaudio Studio 就把我们六分钟的测试歌曲分成了人声、低音、鼓和 “其他 ”主干。. t* g7 u1 ]2 b% F8 j
" O2 E  ^# d; B4 @) o
音质相当出色,即使与我们的 UVR5 测试相比,音源的清晰度也非常高。2 F' G$ {4 G( y1 ~! t- i2 r, {% S

2 V+ y7 D( M9 o2 e8 y9 }截至 2024 年 4 月,它目前还处于测试阶段,5 月份将升级到新版本。该网站没有解释此次升级的内容,因此我们希望这并不意味着他们计划在短期内将其货币化。0 m' I4 ^% f: `' o8 e9 [. K4 `
链接:https://studio.gaudiolab.io/
) T5 k2 [5 X6 f  A9 m! W6 u1 y% F% Z% k
3. MVSEP6 }: D$ P0 ~0 B. P
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/MVSEPintext.webp.jpg
5 r8 S5 P! k' T6 T. q6 A0 U1 ]5 C
/ }2 n  X1 m4 N3 Q! r# i+ N8 b8 m如果你要使用音干分音器进行采样,最好储备一些专业的高质量材料。LANDR Samples 拥有出色的人声、低音、鼓声和乐器音色库,可供探索。! h% |7 t5 K% c: a% n3 d

9 {5 N1 [" E! ?, T9 @* P/ Y+ u5 [7 g! k  O' g( k! p
这款词干分割器有点像 UVR5,但它是基于浏览器的,而不是独立的。/ ~2 U! E# p6 N" v8 c

! n" t2 A# }8 h, G4 o8 {+ Y3 c6 F它允许你选择多种不同的型号、质量级别和输出格式。6 t' A' b" I. p3 n+ ?

8 h; ~/ t0 T( ~, M- D7 a8 e不过,你能使用的设置数量和其他优势取决于你选择的服务层级。
9 y7 z6 h/ ?" @% D+ W
+ i  {" P, F! x% C; Y% w; o我们注册了一个免费账户进行测试,并将六分钟的测试歌曲分为人声、低音、鼓和 “其他 ”主干。; x. @0 V  n* }1 k6 z9 w( E

3 B2 H4 c" a/ W. q; b/ n/ Q我们使用 Demucs v4 模型来查看与 UVR5 的质量是否有差异。我们用了大约五分钟,听起来质量没有明显差别。
( }5 J/ q8 x& K$ o$ ^% v" B5 A
1 }% d3 O6 B) Q6 ]+ Q我们不确定在 UVR5 免费的情况下付费购买 MVSEP 是否有优势,但你可以自己进行比较来确定。: c4 p2 M6 {6 ?

7 @# K; n# ?7 W事实上,MVSEP 网站的主要优势可能在于其文档和资源,而非工具本身。6 n! f& `5 e: [
0 y0 t4 S/ F" p5 K* [( g( {
你可以在他们的网站上找到不同音频分离算法的质量评级比较表,以及不同分离类型的庞大测试结果数据库。
& j! ^; @  c% K2 @* v
7 E% N3 ]& B( K) O2 ^: O链接:https://studio.gaudiolab.io/
9 u* O0 U/ P2 g2 H
: \# o: e+ K' W# K6 ~4. StemRoller( a, S* T; Y9 }  j1 A: I
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/StemRollerintext.webp.jpg
  ?- l* b" n% D5 ?  gStemRoller 是另一款使用 Demucs v4 制作的免费 AI 音干分割器和人声去除器。, M' |# j7 K& k3 O+ q- C

' z1 P: }! \1 P& g0 d它可在电脑上独立运行,但与 UVR5 不同的是,它不允许你使用不同的算法或其他设置。相比之下,它的功能设置要少得多。
1 M1 ?- s* t/ E, |/ X( t: q1 W. L! \0 [
不过,如果你因为要在太多配置中做出选择而感到茫然,这款软件或许值得一试。' g+ _$ ]! S& q3 }
# m- N) D1 d: X& s+ ]+ e+ M: i
你只需将文件拖入窗口,它就会立即开始处理。
0 c. F5 j' ]% _* a- L
" O+ y# T& S# w! N- m1 X结果与在 UVR5 中运行 Demucs v4 的质量基本相同。
7 L( I0 t1 d+ X! b4 ~
$ d' ]2 Y/ m. h3 g除了常见的四个主干外,它还自动为我们提供了一个完整的器乐音轨,没有任何人声痕迹,听起来非常棒。+ D6 k0 `8 J; t* B

) p, T# |1 F/ h开发者警告说,它可能需要大量的处理能力,并需要长达 15 分钟的时间来生成结果,但在我们的 M2 MacBook Air 上只用了几分钟。
7 B! t  \! e8 A( H0 u
$ _" d% s- G1 [" f, c' U' R
4 N3 m; ^; [! O1 l7 K" Y( f8 k链接:https://mvsep.com/en
4 G1 D4 ~; p2 q5 U& e5 u
' E+ ^$ N9 A/ E& M
5 e& n3 r  v/ H/ H0 b! @# \% F) m' J+ e5 ~3 N
5. Spleeter for Max- ~: ?: X0 }& L' P
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/Spleeter-for-Maxintext.webp.jpg
1 y! h. e: @& Q6 J+ U/ ^2 s. b- |# p6 x6 z! b7 W* ]
如果在 Live 中运行基于 Spleeter 或 Demucs 的音干分割器,它不会产生实时效果。它仍需要时间将源音频片段处理成干,这些干将以排列视图显示在时间线上。6 |* P- \. a) A

; M% R) ~+ I9 O
3 K: I% T1 a1 l6 J我们有一个好消息要告诉各位 Max for Live 用户--有好心人制作了一款基于 Spleeter 的设备,你可以在 Ableton Live 中将其用作人工智能音茎分离器。% |. n  F* p/ R
/ |1 _9 D" A# q0 b+ y% D: }; q
不过,对于不熟悉命令行安装的人来说,设置过程可能比较麻烦。你需要遵循几个步骤,在 macOS 上使用终端,在 Windows 上使用 CMD。. c$ g7 D/ b$ h/ B) I0 t
2 B! f, l3 F* P: l9 G/ V, y
另一个问题是,由于 Spleeter 算法无法在 M1/M2/M3 Mac 上本地运行,因此这款设备也无法运行。) B+ n& j' r1 y( C& A9 w
/ T  z% ]- p' I) K' [# N
尽管如此,我们还是在配备英特尔处理器的老款 MacBook Pro 上进行了测试。我们发现它很容易使用,甚至比我们测试过的基于 Demucs 的分音器更快地传送音茎。" m0 @: n6 [6 B3 W) O7 y5 F

  L1 @! g+ {7 G我们发现,它的质量不如 UVR5 或 Gaudio 好,但直接在 Ableton Live 中使用的便利性对某些用户来说可能是值得的。7 W' y) P3 S' D; L7 L$ T; q
" }) k; u+ n8 k: P
因此,如果你不介意安装步骤,又有一台兼容的机器,这可能是一个方便的选择。# [. M. |4 T; r

7 {% d, ?9 t: ]2 S另外,如果你愿意花上 20 美元,也可以购买这款使用 Demucs v4 制作的 Max for Live 音干分割器。
/ S1 c7 n3 x. t5 S# ~
, T+ {+ |, j8 h  \' T# I链接:https://www.maxforlive.com/library/device/5956/spleeter-for-max$ ~6 x: I! r' w0 }

3 Q3 C; M/ o5 w7 n. t  G' i6. Vocal Remover人声移除器+ e# r& d" U- _
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/Vocal-Removerintext.webp.jpg
  B$ h5 a# o6 j, q7 R+ x2 p0 i: b$ E9 x& X  T
使用它是免费的,网站似乎也没有明确列出任何限制。7 t( g' W5 K6 k, _9 {

" a* C$ m4 k1 ?; e% d& I0 U+ Z" W然而,当我们试图进行多次测试或尝试完整的声干分离服务时,却被告知要么稍后再试,要么订阅开发者的 Patreon。
, j( x! l1 h2 o
2 F) c1 T+ g+ h- w/ {7 R: R3 D由此我们推测,除非你选择付费订阅,否则免费版的 Vocal Remover 在两次使用之间会有一段不明确的等待时间。3 B0 R7 z2 E1 ?/ e+ ?

' M; H- P, ^+ N2 e" N我们的人声移除测试很快,只花了几分钟就完成了人声和乐器的移除。+ R2 A! _& N: _) T
/ E  f& {& s4 h0 C1 r
但我们发现,与 UVR5 和 Gaudio Studio 相比,人声音轨与乐器之间有大量渗漏。
" d7 k: r! y, R* j, u& K  }( o6 P2 s+ \' X! [1 a( F
链接:https://vocalremover.org/
6 O! k3 M- X* h5 w
# V1 [% `/ ~  O- x7.Fadr Stems
  z! I$ L6 H  y( v5 Y# l) O _url=https://blog-api.landr.com/wp-content/uploads/2024/04/Fadrintext.webp.jpg
( h; o3 ?& b2 U* p5 E, _该网站提供人工智能词干分割器和自动混音工具。2 V. y! z( v6 N# }# x# ]

# k9 B/ j- j6 u" n6 q% D9 L注册账户并选择免费计划后,Fadr 会将歌曲分成四个音干,并允许你以 MP3 格式下载。
. B5 R7 E  k# r7 A- e8 H2 T# G( s! W9 h$ G/ X5 ~% W
如果你想将歌曲分解成四个以上的主干,下载 WAV 格式的歌曲,并使用其他功能,你就必须切换到付费订阅选项。
! V/ Q' o2 I! j1 I1 R免费版并不限制每月可分割的歌曲数量,而且 200MB 的文件大小限制似乎对免费版和付费版都适用。2 W: p' l+ \8 i$ @7 k, A+ \

: J% {3 _! @& P8 @/ \' ?# s, i9 ^' J( w它能在五分钟内处理我们的测试歌曲,但处理结果并不是我们所见过的同类产品中质量最高的。4 l7 o) ?. x# K; K0 S2 R0 J' ^5 F
! d% k7 r- ]& V
链接:https://fadr.com/stems
- G* k, s: h. ^1 |: j
0 ^6 e, U' b% u
' Z9 f+ e2 @5 t) X& A8 H2 c+ B
+ r; W/ u3 u+ f8. Audacity 的 OpenVINO 插件% d4 V2 {3 H% z/ P3 w3 d# a3 M$ U
_url=https://blog-api.landr.com/wp-content/uploads/2024/04/OpenVINO-Plugins-for-.jpg / |5 a  {/ w/ G

5 M7 @9 f# |. g6 W+ `如果你还没有使用 Audacity 作为你的音频编辑工具,那么你一定要考虑一下它。
' `; |. c$ |1 D% k. U) g
, ]9 N% ?8 t, n2 E: }如果你已经使用 Audacity,那么你可能还不知道它可以承载通过英特尔 OpenVINO AI 工具包设计的人工智能音干分割器插件。4 c$ t, Q" |0 W3 M/ X. R; g- b) h3 F
! q* D# h6 b( A! y5 U" y
我们不知道他们是否利用其中一个开源模型构建了这一功能,但我们很想知道它的性能如何。
! a7 r% H' ]% }- X7 P
1 u( c- J4 j6 d7 a由于这款产品仅限 PC 使用,我们在 Windows 笔记本电脑上进行了测试。安装不像大多数插件那样简单,但也不复杂。
$ V" L! E! e! i, n, h& I2 e! a; x! F; P; b1 i! i: `1 @
使用 GitHub 页面上的说明进行设置后,插件就非常容易使用了。
# S9 c' w& B* P* t2 H只用了不到十分钟,插件就制作出了人声、低音、鼓声和 “其他 ”音轨,并自动将它们作为独立音轨放置在时间轴上。% }" s/ w/ I" P4 a3 N$ w# P
就我们的耳朵而言,它的质量还不错,但比不上 UVR5 或 Gaudio Studio。不过,如果你经常使用 Audacity 并喜欢它的工作流程,它可能是一个不错的选择。
( }/ t8 z) B3 n9 s( e3 o
7 m! \& n* d( D链接:https://github.com/intel/openvino-plugins-ai-audacity6 ?, s0 {4 y3 C7 \/ r

1 s& y- L2 Z0 h% R: M' j9 {5 _  ~1 G2 H8 v/ G! e8 h$ Q: y
AI 词干分离器和人声移除器的历史实际上比你想象的要长。8 \& I( i$ n/ ~1 M* Y3 n0 C) V

5 i5 T9 r0 V. T- k, F: @- D7 n" y因此,你可以在自己已经拥有的音乐软件中找到音干分离功能。
* g' P. R$ ~* }& t
. N) x. b7 e* i' S/ niZotope RX 有 “音乐再平衡 ”功能,FL Studio 的制作人版及以上版本也有词干分离功能。
5 B, x" L7 i$ [8 Z: @" w6 d9 ~3 F/ k- [1 }. {- J
这也成为 Serato DJ、rekordbox 和 VirtualDJ 等 DJ 软件的一项功能。1 Q/ K' o9 x" o9 ?2 _
: S8 N+ f0 X4 q5 g: R) U1 r3 V! F+ x

/ P8 H6 Z( C8 z% Q5 R) V( J, Y
欢迎厂家入驻,推文!免费!微信:yinpinyingyong
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

音频应用搜索

小黑屋|手机版|音频应用官网微博|音频招标|音频应用 (鄂ICP备16002437号)

Powered by Audio app

快速回复 返回顶部 返回列表