25.4.1 Evaluation MetricsSince the

25.4.1 Evaluation Metrics

Since the objective of push and nuke attacks is to promote and demote target items,
we need to evaluate how successfully they do so. Evaluation metrics for robustness
need to capture the differences in the predicted ratings and recommended status (i.e.
whether or not the target item in included in a top N recommended list) of target
items pre- and post-attack.
Many researchers have used average prediction shift to evaluate the changes in
predicted ratings. Let UT and IT be the sets of users and items, respectively, in the
test data. For each user-item pair (u, i), the prediction shift denoted by ∆u,i can be
measured as ∆u,i = pu,i − pu,i, where p and p′ are the pre- and post-attack predic-
tions, respectively. A positive value means, for example, that the attack has suc-
ceeded in making a pushed item more positively rated. The average prediction shift
for an item i over all users can be computed as ∆i = ∑u∈UT ∆u,i/|UT |. Similarly the
average prediction shift for all items tested can be computed as ∆ = ∑i∈IT ∆i/|IT |.
Prediction shift is a good indicator that an attack is having the desired effect
of making a pushed (or nuked) item appear more (or less) desirable. However, it
is possible that a pushed item, for example, could be strongly shifted on average
but still not make it onto a recommendation list. Such a situation could arise if the
item’s initial average prediction is so low that even a strong boost is insufficient. To
capture the impact of an attack on prediction lists, another metric has been proposed:
hit ratio. Let Ru be the set of top N recommendations for user u. If the target item
appears in Ru, for user u, the scoring function Hui has value 1; otherwise it is zero.
Hit ratio for an item i is given by HitRatioi = ∑u∈UT Hui/|UT |. Average hit ratio can
then calculated as the sum of the hit ratio for each item i following an attack on i
across all items divided by the number of items: HitRatio = ∑i∈IT HitRatioi/|IT |.
Many experimenters make use of the publicly available MovieLens 100K dataset5.
This dataset consists of 100,000 ratings made by 943 users on 1,682 movies. Ratings are expressed on an integer rating scale of 1 to 5 (the higher the score, the more
liked an item is). Results below should be assumed to be relative to this dataset
unless otherwise stated.

ผลลัพธ์ (ไทย) 1:

25.4.1 การวัดประเมินผลเนื่องจากวัตถุประสงค์ของการโจมตีผลักดันและนรกคือการ ส่งเสริม และลดระดับเป้าหมายสินค้าเราต้องประเมินเสร็จเรียบร้อยแล้วว่าพวกเขาทำ การวัดประเมินผลสำหรับเสถียรภาพต้องจับความแตกต่างในการคาดการณ์การจัดอันดับและแนะนำสถานะพิเศษหรือไม่เป้าหมายสินค้าในรวมด้านบน N แนะนำรายการ) ของเป้าหมายสินค้าก่อน และหลังการโจมตีนักวิจัยจำนวนมากได้ใช้กะคาดเดาเฉลี่ยเพื่อประเมินการเปลี่ยนแปลงในอันดับที่คาดการณ์ ให้ UT และเป็นชุดของผู้ใช้และสินค้า ตามลำดับ ในการทดสอบข้อมูล สำหรับแต่ละคู่ผู้ใช้สินค้า (u ฉัน), กะทายสามารถบุ โดย ∆u ได้วัดเป็น ∆u ฉัน =ปู ฉัน−ปู i, p และ p′ ก่อนและหลังการโจมตี predic-tions ตามลำดับ ค่าบวกหมายความ ตัวอย่าง การโจมตีมี suc-ceeded ในการทำสินค้าแบบผลักขึ้นบวกคะแนน กะคาดเดาเฉลี่ยสินค้าผมผ่านผู้ใช้ทุกคนสามารถคำนวณเป็น ∆i = ∑u∈UT ∆u ฉัน / | UT | ในทำนองเดียวกันนี้สามารถคำนวณกะคาดเดาเฉลี่ยสำหรับสินค้าทั้งหมดที่ทดสอบเป็น∆ = ∑i∈IT ∆i/|IT |ตัวบ่งชี้ที่ดีว่า การโจมตีมีผลต้องเป็นกะทายของการทำ สินค้าแบบผลัก (หรือ nuked) ปรากฏ ประกอบเพิ่มเติม (หรือน้อย) อย่างไรก็ตาม มันเป็นไปได้ว่า สินค้าแบบผลัก เช่น อาจจะขอเปลี่ยนโดยเฉลี่ยแต่ยัง ไม่ให้ลงรายการแนะนำ สถานการณ์ที่อาจเกิดขึ้นหากการคาดการณ์เฉลี่ยของสินค้าเริ่มต้นจะต่ำดังนั้นว่าแม้เพิ่มแข็งแรง insufficient ถึงรวบรวมผลกระทบของการโจมตีในรายการทาย การเสนอวัดอื่น:ตีอัตราส่วน ให้เป็นชุดของคำแนะนำ N ด้านบนสำหรับผู้ใช้ u Ru ถ้าสินค้าเป้าหมายปรากฏใน Ru สำหรับผู้ใช้ u ฟังก์ชันคะแนนฮุยมีค่า 1 มิฉะนั้น จะเป็นศูนย์อัตราการเข้าชมสินค้าที่ฉันถูกกำหนด โดย HitRatioi = ∑u∈UT ฮุย / | UT | ค่าเฉลี่ยอัตราส่วนสามารถตีแล้ว คำนวณเป็นผลรวมของอัตราส่วนสำหรับแต่ละรายการตีฉันต่อการโจมตีผมข้ามหาร ด้วยจำนวนรายการสินค้าทั้งหมด: HitRatio = ∑i∈IT HitRatioi/|IT |Experimenters มากทำให้ใช้ MovieLens เผย 100K dataset5ชุดข้อมูลนี้ประกอบด้วย 100000 จัดอันดับตาม 943 ในภาพยนตร์ 1,682 การจัดอันดับจะแสดงอยู่บนมาตราส่วนการจัดอันดับจำนวนเต็ม 1 ถึง 5 (คะแนนสูง เพิ่มเติมชอบสินค้าเป็น) ผลลัพธ์ด้านล่างควรถือว่าถูกเมื่อเทียบกับชุดข้อมูลนี้เว้นแต่จะระบุเป็นอย่างอื่น

ผลลัพธ์ (ไทย) 2:

25.4.1 การประเมินผลตัวชี้วัดตั้งแต่วัตถุประสงค์ของการผลักดันและการโจมตีของอาวุธนิวเคลียร์คือการส่งเสริมและลดระดับรายการเป้าหมายที่เราต้องประเมินว่าประสบความสำเร็จที่พวกเขาทำเช่นนั้น ตัวชี้วัดการประเมินผลเพื่อความแข็งแรงต้องจับความแตกต่างในการจัดอันดับที่คาดการณ์ไว้และแนะนำสถานะ (เช่นว่าหรือไม่รายการเป้าหมายในการรวมอยู่ในด้านบนยังไม่มีรายการที่แนะนำ) เป้าหมายของรายการก่อนและหลังการโจมตี. นักวิจัยหลายคนได้ใช้การคาดการณ์การเปลี่ยนแปลงเฉลี่ย ในการประเมินการเปลี่ยนแปลงในการจัดอันดับที่คาดการณ์ไว้ ให้ยูทาห์และไอทีเป็นชุดของผู้ใช้และรายการตามลำดับในการทดสอบข้อมูล สำหรับแต่ละคู่ใช้รายการ (มึง) การเปลี่ยนการคาดการณ์แสดงโดยΔuฉันสามารถวัดΔu, i = ปู่ฉัน - ปูผมที่พีพีและ 'เป็นก่อนและหลัง คาดการณ์ว่าการโจมตีข้อตามลำดับ หมายถึงค่าบวกตัวอย่างเช่นการโจมตีที่มีความสำเร็จในการทำ ceeded รายการผลักดันจัดอันดับมากขึ้นในเชิงบวก การเปลี่ยนแปลงการคาดการณ์เฉลี่ยสำหรับรายการฉันมากกว่าผู้ใช้ทุกคนสามารถคำนวณเป็นΔi = Σu∈UTΔuฉัน / | ยูทาห์ | ในทำนองเดียวกันการเปลี่ยนแปลงการคาดการณ์เฉลี่ยสำหรับรายการทั้งหมดที่ได้รับการทดสอบสามารถคำนวณเป็นΔ = Σi∈ITΔi / | ไอที |. กะทำนายเป็นตัวบ่งชี้ที่ดีที่การโจมตีจะมีผลที่ต้องการในการทำผลักดัน (หรืออบ) รายการที่ปรากฏ มากขึ้น (หรือน้อยกว่า) เป็นที่น่าพอใจ แต่ก็เป็นไปได้ว่ารายการผลักตัวอย่างเช่นอาจจะมีการเปลี่ยนอย่างมากโดยเฉลี่ยแต่ก็ยังไม่ทำให้มันลงรายชื่อเสนอแนะ สถานการณ์ดังกล่าวอาจเกิดขึ้นหากการคาดการณ์เฉลี่ยเริ่มต้นของรายการอยู่ในระดับต่ำเพื่อให้ได้เพิ่มที่แข็งแกร่งเป็นสาย insuf เพียงพอ เพื่อจับภาพผลกระทบของการโจมตีในรายการการทำนายตัวชี้วัดอื่นได้รับการเสนอ: อัตราการตี ให้ Ru เป็นชุดของคำแนะนำไม่มีข้อความด้านบนสำหรับผู้ใช้ยู หากรายการเป้าหมายที่ปรากฏใน Ru สำหรับผู้ใช้มึงฟังก์ชั่นการให้คะแนนฮุยมีค่า 1; มิฉะนั้นจะเป็นศูนย์. ตีอัตราส่วนสำหรับรายการที่ผมจะได้รับจาก HitRatioi = Σu∈UTฮุย / | ยูทาห์ | อัตราส่วนการชมเฉลี่ยสามารถคำนวณแล้วเป็นผลรวมของอัตราการตีสำหรับแต่ละรายการต่อไปนี้ฉันโจมตีฉันข้ามรายการทั้งหมดหารด้วยจำนวนรายการ:. HitRatio = Σi∈IT HitRatioi / | ไอที | ทดลองจำนวนมากทำให้การใช้งานของ ที่เปิดเผยต่อสาธารณชน MovieLens 100K dataset5. ชุดนี้ประกอบด้วย 100,000 ที่ทำโดยการจัดอันดับ 943 ผู้ใช้บน 1682 ภาพยนตร์ การจัดอันดับจะถูกแสดงในระดับคะแนนจำนวนเต็มของ 1-5 (คะแนนสูงที่มากกว่าที่ชอบคือรายการ) ผลดังต่อไปนี้ควรได้รับการสันนิษฐานว่าจะเป็นเมื่อเทียบกับชุดนี้ยกเว้นที่ระบุไว้เป็นอย่างอื่น

ผลลัพธ์ (ไทย) 3:

ตัวชี้วัดการประเมินผล 25.4.1

ตั้งแต่วัตถุประสงค์ผลักดันและการโจมตีนิวเคลียร์เพื่อส่งเสริมและถอดถอนรายการเป้าหมาย
เราต้องประเมินว่าประสบความสำเร็จ พวกเขาทำเช่นนั้น ตัวชี้วัดเพื่อประเมินความแข็งแกร่ง
ต้องจับความแตกต่างในการทำนายคะแนนและแนะนำสถานะ ( เช่น
หรือไม่เป้าหมายรายการที่รวมอยู่ในรายการด้านบน ( แนะนำ ) ของเป้าหมาย
รายการก่อนและหลังการโจมตี
นักวิจัยหลายคนได้ใช้กะเดาเฉลี่ยเพื่อประเมินการเปลี่ยนแปลง
ทำนายคะแนน ขอ UT และมันเป็นชุดของผู้ใช้และรายการตามลำดับใน
ข้อมูลทดสอบ สำหรับสินค้าแต่ละรายการผู้ใช้คู่ ( U , I ) การทำนาย Shift แทน โดย∆ u , ฉันสามารถวัดได้เป็น∆
U , I = PU , − PU , ผมที่ P และ P นั้นคือก่อนและหลังการโจมตี predic -
ยินดีด้วย ตามลำดับ ค่าเป็นบวก หมายความว่า ตัวอย่างที่โจมตีได้ซัค -
ceeded ในการผลักดันรายการมีการจัดอันดับ มีทำนายกะ
สำหรับรายการที่ผมมากกว่าผู้ใช้ทั้งหมดสามารถคำนวณเป็น∆ = ∑ u ∈ UT ∆ U , I / | UT | . ในทำนองเดียวกัน
กะคำทำนายเฉลี่ยสำหรับรายการทั้งหมดทดสอบที่สามารถคำนวณเป็น∆ = ∑ผม∈มัน∆ฉัน / | มัน | กะ
ทำนายเป็นตัวบ่งชี้ที่ดีว่า การโจมตีจะมีผลที่ต้องการ
ทำผลัก ( หรือระเบิด ) รายการปรากฏมากขึ้น ( หรือน้อยกว่า ) ที่พึงประสงค์ อย่างไรก็ตาม มันเป็นไปได้ที่ผลัก
รายการ เช่น อาจจะขอย้ายเฉลี่ย
แต่ยังไม่ให้ลงในรายการแนะนำ สถานการณ์ดังกล่าวอาจเกิดขึ้นหาก
รายการเริ่มต้นเฉลี่ยต่ำมาก แม้คำทำนายจะเพิ่มที่แข็งแกร่งเป็น insuf จึง cient .

จับภาพผลกระทบของการโจมตีในรายการพยากรณ์ตัวชี้วัดอื่นได้รับการเสนอ :
กดปุ่มอัตราส่วน ให้เกมเป็นชุดของคำแนะนำสำหรับผู้ใช้สูงสุด n U . ถ้าสินค้าเป้าหมาย
ปรากฏในรู สำหรับผู้ใช้ U ฟังก์ชันฮุยมีค่า 1 คะแนน มิฉะนั้นมันเป็นศูนย์ .
ตีสัดส่วนรายการที่ฉันได้รับจาก hitratioi = ∑ u ∈ UT ฮุย / | UT | . อัตราส่วนตีเฉลี่ยสามารถ
แล้วคำนวณเป็นผลรวมของอัตราส่วนแต่ละรายการตามตีโจมตีผม
ผ่านรายการทั้งหมดหารด้วยจำนวนรายการ : hitratio = ∑ผม∈มัน hitratioi / | มัน | .
มีผู้ทดลองใช้ของที่มีอยู่ทั่วไป movielens 100k dataset5 .
ชุดข้อมูลนี้ประกอบด้วย 100000 คะแนนโดยรอบผู้ใช้คนจะดูหนัง การจัดอันดับจะถูกแสดงบนจำนวนเต็มที่ระดับ 1 ถึง 5 ( สูงกว่าคะแนนยิ่ง
ชอบสินค้า )ผลลัพธ์ด้านล่างควรจะถือว่าเป็นญาติกับข้อมูล

ยกเว้นที่ระบุเป็นอย่างอื่น