where x(t) is the (m×1) measurement

where x(t) is the (m×1) measurement vector, s(t) is the (n×1) source vector which components have to be separated, A is the mixing matrix of dimension (m×n) and ϵ(t) represents noise affecting the measurements. We assume that the (m×T) noise matrix ϵ(t) is statistically independant of sources, centered, white and Gaussian with covariance matrix Rϵ . We note s1⋅⋅T the matrix n×T of sources and x1⋅⋅T the matrix m×T of data.

Source separation problem consists of two sub-problems: Sources restoration and mixing matrix identification. Therefore, three directions can be followed:

Supervised learning: Identify A knowing a training sequence of sources s , then use it to reconstruct the sources.

Unsupervised learning: Identify A directly from a part or the whole observations and then use it to recover s .

Unsupervised joint estimation: Estimate jointly s and A

In the following, we investigate the second and third directions. This choice is motivated by practical cases where sources and mixing matrix are unknown.

This paper is organised as follows: We begin by proposing a Bayesian approach to source separation. We set up the notations, present the prior laws of the sources and the mixing matrix elements. We introduce a hierarchical modelisation of the sources by mean of hidden variables representing the labels of the mixture of Gaussians in the prior modeling and present the hierarchical JMAP algorithm including estimation of hyperparameters. Since EM algorithm [6] has been used extensively in source separation [3], [1], [2], we considered this algorithm and propose a penalized version of the EM algorithm for source separation. This penalization of the likelihood function is necessary to eliminate its degeneracy when some variances of Gaussian mixture approche zero [14], [13], [11]. We will modify the EM algorithm by introducing a classification step and a relaxation strategy to reduce the computational cost. Simulation results are presented to test and compare the two algorithms performances.

BAYESIAN APPROACH TO SOURCE SEPARATION
Given the observations x1⋅⋅T , the joint a posteriori distribution of unknown variables s1⋅⋅T and A is:
p(A,s1⋅⋅T,θ|x1⋅⋅T)∝p(x1⋅⋅T|A,s1⋅⋅T,θ1)p(A|θ2)p(s1⋅⋅T|θ3)p(θ)(2)
View Source Right-click on figure for MathML and additional features.
where p(A|θ2) and p(s1⋅⋅T|θ3) are the prior distributions through which we model our a priori information about mixing matrix A and sources s.p(x1⋅⋅T|A,s1⋅⋅T,θ1) is the joint likelihood distribution. θ=(θ1,θ2,θ3) are the hyperparameters. From here, we have two directions for unsupervised learning and separation:

First, estimate jointly s1⋅⋅T,A and θ :
(Aˆ,sˆ1⋅⋅T,θˆ)=argmax(A,s1⋅⋅T,θ){J(A,s1⋅⋅T,θ)=lnp(A,s1⋅⋅T,θ|x1⋅⋅T)}(3)
View Source Right-click on figure for MathML and additional features.
.

Second, integrate (2) with respect to s1⋅⋅T to obtain the marginal in (A,θ) and estimate them by:

(Aˆ,θˆ)=argmax(A,θ){J(A,θ)=lnp(A,θ|x1⋅⋅T)}(4)
View Source Right-click on figure for MathML and additional features.
Then estimate sˆ1⋅⋅T using the posterior p(s1⋅⋅T|x1⋅⋅T,Aˆ,θˆ) .

The two algorithms we propose follow these two shemes.

Choice of a priori distributions
Noise a priori
We consider a Gaussian white noise with zero mean and covariance matrix Rϵ (θ1=Rϵ) .

Sources a priori
For sources s , we choose a mixture of Gaussians [10]:

ผลลัพธ์ (ไทย) 1:

ที่ x(t) เป็นเวกเตอร์วัด (m × 1) s(t) เป็นเวกเตอร์แหล่ง (n × 1) ซึ่งมีส่วนประกอบให้แบ่ง A เป็นเมตริกซ์มิติ (m × n) ผสม และ ϵ(t) แสดงผลการวัดเสียงรบกวน เราสมมติว่า ϵ(t) เมตริกซ์เสียง (m × T) ทางสถิติขึ้นอยู่กับแหล่งที่มา เมตริกซ์แปรปรวนกลาง สีขาว และ Gaussian กับ Rϵ เราทราบ s1⋅⋅T การเมตริกซ์ n × T แหล่งและ x1⋅⋅T ในเมตริกซ์ m × T ของข้อมูลแหล่งแยกปัญหาประกอบด้วยปัญหาย่อย 2: แหล่งปลูกและผสมรหัสเมทริกซ์ ดังนั้น สามสายสามารถปฏิบัติตาม:แบบมีผู้สอนการเรียนรู้: ระบุความรู้ฝึกอบรมลำดับของแหล่ง s แล้วใช้มันเพื่อสร้างแหล่งมาUnsupervised เรียนรู้: ระบุ A โดยตรงจากการสังเกตทั้งหมดหรือบางส่วน และใช้ในการกู้คืน sUnsupervised ร่วมประเมิน: ประเมินร่วม s และ Aในต่อไปนี้ เราตรวจสอบเส้นทางที่สอง และสาม ตัวเลือกนี้เป็นแรงจูงใจ โดยการปฏิบัติกรณีแหล่งและผสมเมตริกซ์ไม่รู้จักแหล่งกระดาษนี้เป็นดังนี้: เราเริ่มต้น ด้วยการเสนอวิธีการทฤษฎีการแยกแหล่งที่มา เราตั้งค่าฯลฯ ปัจจุบันกฎหมายทราบแหล่งมาและองค์ประกอบของเมทริกซ์การผสม เราแนะนำ modelisation ตามลำดับชั้นของแหล่งมา โดยค่าเฉลี่ยของตัวแปรซ่อนแสดงป้ายชื่อของส่วนผสมของ Gaussians ในโมเดลก่อนหน้านี้ และนำเสนอขั้นตอนวิธี JMAP ลำดับที่รวมถึงการประเมินของ hyperparameters เนื่องจากอัลกอริทึม EM [6] มีการใช้อย่างกว้างขวางในแหล่งแยก [3], [1], [2], เราถือว่าอัลกอริทึมนี้ และเสนอรุ่น penalized ของอัลกอริทึม EM แยกแหล่งที่มา นี้ penalization ฟังก์ชันโอกาสจำเป็นต้องกำจัดภาวะลดรูปของเมื่อบางผลต่างของส่วนผสม Gaussian approche ศูนย์ [14], [13], [11] เราจะปรับเปลี่ยนอัลกอริทึม EM โดยการแนะนำขั้นตอนการจัดประเภทและกลยุทธ์เป็นการลดต้นทุนที่คำนวณ มีแสดงผลการทดลองเพื่อทดสอบ และเปรียบเทียบการแสดงสองอัลกอริทึมทฤษฎีวิธีการแยกแหล่งที่มาให้ x1⋅⋅T สังเกต ร่วมจำหน่าย s1⋅⋅T ตัวแปรที่ไม่ทราบและ A posteriori มีอยู่:p (A, s1⋅⋅T, θ|x1⋅⋅T) ∝p (x1⋅⋅T| A,s1⋅⋅T,θ1)p(A|θ2)p(s1⋅⋅T|θ3)p(θ)(2)ดูแหล่งที่มาคลิกขวาบนรูป MathML และคุณลักษณะเพิ่มเติมp(A|θ2) และ p(s1⋅⋅T|θ3) การกระจายก่อนที่ที่เรารุ่นเรามี priori ข้อมูลเกี่ยวกับผสมเมตริกซ์ A และแหล่ง s.p (x1⋅⋅T| , S1⋅⋅T, θ1) เป็นการกระจายโอกาสร่วมด้วย Θ=(θ1,θ2,θ3) hyperparameters อยู่ จากที่นี่ เรามีสองทิศทางสำหรับเรียนรู้ unsupervised และแยก:ประเมินร่วมกันครั้งแรก s1⋅⋅T, A และθ:(Aˆ,sˆ1⋅⋅T,θˆ)=argmax(A,s1⋅⋅T,θ){J(A,s1⋅⋅T,θ)=lnp(A,s1⋅⋅T,θ|x1⋅⋅T)}(3)ดูแหล่งที่มาคลิกขวาบนรูป MathML และคุณลักษณะเพิ่มเติม.รวม (2) กับ s1⋅⋅T การรับกำไร (a θ) และประเมินโดย: ที่สอง(Aˆ,θˆ)=argmax(A,θ){J(A,θ)=lnp(A,θ|x1⋅⋅T)}(4)ดูแหล่งที่มาคลิกขวาบนรูป MathML และคุณลักษณะเพิ่มเติมประมาณ sˆ1⋅⋅T แล้ว ใช้ p(s1⋅⋅T|x1⋅⋅T,Aˆ,θˆ) หลังอัลกอริทึม 2 เราทำตาม shemes เหล่านี้สอง ทางเลือกของการกระจายตัวของ priori เสียง priori ความเราพิจารณาเสียงดังขาว Gaussian กับเมทริกซ์ศูนย์เฉลี่ยและความแปรปรวนร่วมของ Rϵ (θ1 = Rϵ) แหล่ง priori ความสำหรับแหล่ง s เราสามารถเลือกส่วนผสมของ Gaussians [10]:

ผลลัพธ์ (ไทย) 2:

ที่ x (t) คือ (m × 1) การวัดเวกเตอร์ s (t) คือ (n × 1) เวกเตอร์แหล่งที่มาซึ่งชิ้นส่วนจะต้องมีการแยกออกจากกันเป็นเมทริกซ์ผสมของมิติ (m × n) และε ( t) แสดงให้เห็นถึงผลกระทบต่อการวัดเสียงรบกวน เราคิดว่า (m × T) เสียงเมทริกซ์ε (t) เป็นอิสระทางสถิติของแหล่งศูนย์กลางขาวและเสียนที่มีความแปรปรวนเมทริกซ์Rε เราทราบs1⋅⋅Tเมทริกซ์ n × T ของแหล่งที่มาและx1⋅⋅Tเมทริกซ์ม. × T ของข้อมูล. แหล่งที่มาของปัญหาการแยกประกอบด้วยสองปัญหาย่อย: ฟื้นฟูแหล่งที่มาและบัตรประจำตัวเมทริกซ์ผสม ดังนั้นสามทิศทางสามารถตาม: การเรียนรู้ภายใต้การควบคุม: ระบุรู้ลำดับของการฝึกอบรมของแหล่งที่มาแล้วใช้มันเพื่อสร้างแหล่งที่มา. การเรียนรู้ Unsupervised: ระบุโดยตรงจากการสังเกตบางส่วนหรือทั้งหมดแล้วใช้ในการกู้คืน s การประมาณค่าใกล้ชิดร่วม: ประมาณการร่วมกันและในต่อไปนี้เราจะตรวจสอบเส้นทางที่สองและสาม ทางเลือกนี้เป็นแรงบันดาลใจจากการปฏิบัติกรณีที่แหล่งที่มาและเมทริกซ์ผสมเป็นที่รู้จัก. กระดาษนี้จะมีการจัดระเบียบดังต่อไปนี้: เราเริ่มต้นด้วยการเสนอวิธีการแบบเบย์ที่จะมาแยก เราตั้งค่าข้อความที่ปัจจุบันกฎหมายก่อนแหล่งที่มาและองค์ประกอบของเมทริกซ์ผสม เราแนะนำ modelisation ลำดับชั้นของแหล่งที่มาโดยเฉลี่ยของตัวแปรที่ซ่อนตัวแทนฉลากส่วนผสมของ Gaussians ในการสร้างแบบจำลองก่อนและนำเสนอขั้นตอนวิธี jmap ลำดับชั้นรวมประมาณ hyperparameters ตั้งแต่ขั้นตอนวิธี EM [6] ได้รับการใช้อย่างกว้างขวางในการแยกแหล่งที่มา [3] [1] [2] เราพิจารณาขั้นตอนวิธีนี้และนำเสนอรุ่นลงโทษของอัลกอริทึม EM สำหรับการแยกแหล่งที่มา ฟังก์ชั่นการปรับไหมโอกาสนี้เป็นสิ่งจำเป็นที่จะกำจัดความเสื่อมของมันเมื่อแปรปรวนบางส่วนของส่วนผสม Gaussian approche ศูนย์ [14] [13], [11] เราจะปรับเปลี่ยนอัลกอริทึม EM โดยการแนะนำขั้นตอนการจัดหมวดหมู่และกลยุทธ์การผ่อนคลายเพื่อลดค่าใช้จ่ายในการคำนวณ ผลการจำลองที่นำเสนอในการทดสอบและเปรียบเทียบทั้งสองขั้นตอนวิธีการแสดง. แบบเบย์ใกล้กับแหล่งที่มาแยกได้รับการสังเกตx1⋅⋅T, ร่วม posteriori กระจายของตัวแปรที่ไม่รู้จักและs1⋅⋅Tคือพี (A, s1⋅⋅T , θ | x1⋅⋅T) αp (x1⋅⋅T |, s1⋅⋅T, θ1) พี (| θ2) พี (s1⋅⋅T | θ3) พี (θ) (2) มาดูขวา -click ในรูปสำหรับ MathML และคุณลักษณะเพิ่มเติม. ที่พี (| θ2) และพี (s1⋅⋅T | θ3) มีการแจกแจงก่อนผ่านที่เราจำลองข้อมูลเบื้องต้นของเราเกี่ยวกับการผสมเมทริกซ์และแหล่ง SP (x1⋅⋅ T |, s1⋅⋅T, θ1) คือการกระจายโอกาสร่วมกัน θ = (θ1, θ2, θ3) จะ hyperparameters จากที่นี่เรามีสองทิศทางสำหรับการเรียนรู้ใกล้ชิดและการแยก: ครั้งแรกที่ได้ร่วมกันประเมินs1⋅⋅T, และθ . ที่มาคลิกขวาที่รูปสำหรับ MathML และคุณลักษณะเพิ่มเติม. ประการที่สองบูรณาการ (2) เกี่ยวกับการที่จะได้รับs1⋅⋅Tเล็กน้อยใน (A, θ) และประเมินพวกเขาโดย: (A, θ) = argmax ( , θ) {J (A, θ) = LNP (A, θ | x1⋅⋅T)} (4) มาดูคลิกขวาที่รูปสำหรับ MathML และคุณลักษณะเพิ่มเติม. แล้วประมาณs1⋅⋅Tใช้พีหลัง ( s1⋅⋅T. | x1⋅⋅T, A, θ) . ทั้งสองขั้นตอนวิธีการทำตามเราเสนอทั้งสอง shemes ทางเลือกของการกระจายเบื้องต้นเสียงเบื้องต้นเราพิจารณาเสียงสีขาวเสียนกับศูนย์ค่าเฉลี่ยและความแปรปรวนเมทริกซ์Rε (θ1 = Rε .) แหล่งที่มาเบื้องต้นสำหรับแหล่งที่มาของเราเลือกส่วนผสมของ Gaussians [10]:

ผลลัพธ์ (ไทย) 3:

ที่ x ( t ) ( m × 1 ) เวกเตอร์วัด , S ( t ) เป็น ( n × 1 ) แหล่งที่มาของเวกเตอร์ที่ส่วนประกอบที่ต้องแยกกัน คือการผสมเมทริกซ์มิติ ( m × n ) และϵ ( T ) หมายถึงเสียงที่มีผลต่อการวัด เราคิดว่า ( m × t ) ϵเมทริกซ์เสียง ( T ) มีความอิสระของแหล่งที่มา , ศูนย์กลาง , ขาว ) กับเมทริกซ์ r ϵร่วม .เราทราบ⋅⋅ S1 t เมทริกซ์ n × t แหล่งที่มาและ X1 ⋅⋅ t เมทริกซ์ m × t ข้อมูล

ที่มาแยกปัญหาออกเป็น 2 ซับ ปัญหาแหล่งฟื้นฟูและการผสมรหัสเมทริกซ์ ดังนั้นสามเส้นทางสามารถติดตาม :

ดูแลการเรียนรู้ : ระบุทราบลำดับของแหล่งฝึก แล้วใช้มันเพื่อสร้างแหล่งการเรียนรู้ :

unsupervised .ระบุโดยตรงจากบางส่วนหรือข้อมูลทั้งหมด และใช้ในการกู้คืน

unsupervised ร่วมกันประมาณ : ประมาณร่วมด้วยและ

ในต่อไปนี้ เราศึกษาเส้นทางที่สองและสาม ทางเลือกนี้เป็นแรงบันดาลใจจากกรณีการปฏิบัติที่แหล่งที่มาและการผสมเมทริกซ์ไม่รู้

บทความนี้จัดได้ดังนี้เราเริ่มต้นด้วยการเสนอวิธีการแบบเบส์เพื่อแยกแหล่ง เราตั้งค่าต่างๆ ปัจจุบัน กฎหมายเดิมของแหล่งที่มาและเมทริกซ์ผสมองค์ประกอบเราแนะนำ modelisation ลำดับชั้นของแหล่งที่มาจากค่าเฉลี่ยของตัวแปรที่ซ่อนแสดงฉลากของส่วนผสมของ gaussians ในแบบเดิม และเสนอตามลำดับชั้น jmap ขั้นตอนวิธีรวมประมาณ hyperparameters . เนื่องจากขั้นตอนวิธีอีเอ็ม [ 6 ] มีการใช้อย่างกว้างขวางในแหล่งแยก [ 3 ] [ 1 ] [ 2 ]เราคิดว่าวิธีนี้ และเสนอการลงโทษรุ่นของพวกเขาอัลกอริทึมสำหรับแยกแหล่ง ซึ่งสมัครใจของฟังก์ชันความน่าจะเป็นที่จำเป็นเพื่อขจัดความเสื่อมเมื่อมีความแปรปรวนของลักษณะของส่วนผสม approche ศูนย์ [ 14 ] , [ 13 ] , [ 11 ] เราจะปรับเปลี่ยนขั้นตอนวิธีอีเอ็มโดยการแนะนำขั้นตอนการจัดหมวดหมู่ และการผ่อนคลายกลยุทธ์เพื่อลดต้นทุนในการคำนวณผลการจำลองแสดงการทดสอบและเปรียบเทียบสองขั้นตอนวิธีการแสดง

แบบแนวทางแหล่งแยก
ได้รับการสังเกต⋅⋅ X1 T , ร่วมกันจากผลไปสู่เหตุการแจกแจงของตัวแปรที่ไม่รู้จัก⋅⋅ S1 t และ :
p ( a , S1 ⋅⋅ T , θ | X1 ⋅⋅ T ) ∝ P ( x1 ⋅⋅ T | , S1 ⋅⋅ T , θ 1 ) P ( | θ 2 ) P ( S1 ⋅⋅ T | θ 3 ) P ( θ ) ( 2 )
ที่มาดูคลิกขวาที่รูปเพื่อ MathML
และคุณลักษณะเพิ่มเติมที่ P ( | θ 2 ) และ P ( S1 ⋅⋅ T | θ 3 ) การแจกแจงก่อนผ่านซึ่งเราแบบ priori ข้อมูลเกี่ยวกับเมทริกซ์ผสมและแหล่งดนตรี ( x1 ⋅⋅ T | , S1 ⋅⋅ T , θ 1 ) การแจกแจงความน่าจะเป็นร่วม θ = ( θ 1 , θ 2 , θ 3 ) เป็น hyperparameters . จากที่นี่ เราได้สองทิศทางสำหรับการเรียนรู้แบบไม่มีผู้สอนและการแยก :

แรก ประมาณร่วม⋅⋅ S1 T , A และθ :
( ˆ , S ˆ 1 ⋅⋅ T ,θˆ ) = argmax ( a , S1 ⋅⋅ T , θ ) { J ( a , S1 ⋅⋅ T , θ ) = lnp ( a , S1 ⋅⋅ T , θ | X1 ⋅⋅ t ) } ( 3 )
ที่มาดูคลิกขวาที่รูปเพื่อ MathML และคุณลักษณะเพิ่มเติม
.

รวม ( 2 2 ) ด้วยความเคารพ⋅⋅ S1 T ที่จะได้รับขอบใน ( a , θ ) และการประเมินโดย :

( ˆθˆ , argmax ) = ( a , θ ) { J ( A , θ ) = lnp ( A , θ | X1 ⋅⋅ t ) } ( 4 )
ที่มาดูขวา คลิกที่รูปเพื่อ
MathML และคุณลักษณะเพิ่มเติมจากนั้นประมาณ 1 ⋅⋅ T S ˆใช้ด้านหลัง p ( s1 x1 ⋅⋅ | ⋅⋅ T T , ˆθˆ , )

สองขั้นตอนวิธีการที่เราเสนอต่อไปนี้สอง shemes

เลือกระหว่างการกระจาย

เสียง priori เราพิจารณาลักษณะเสียงสีขาวกับศูนย์และเมทริกซ์ r ϵร่วมหมายถึง ( θ 1 = r ϵ )


สำหรับแหล่งที่มาของแหล่ง priori เราเลือกส่วนผสมของ gaussians [ 10 ] :