We present a model that generates f

We present a model that generates free-form natural language
descriptions of image regions. Our model leverages dataset of images and their sentence descriptions to learn
about the inter-modal correspondences between text and visual data. Our approach is based on a novel combinationof Convolutional Neural Networks over image regions, bidirectional
Recurrent Neural Networks over sentences, and a
structured objective that aligns the two modalities through a
multimodal embedding. We then describe a Recurrent Neural
Network architecture that uses the inferred alignments to
learn to generate novel descriptions of image regions. We
demonstrate the effectiveness of our alignment model with
ranking experiments on Flickr8K, Flickr30K and MSCOCO
datasets, where we substantially improve on the state of the
art. We then show that the sentences created by our generative
model outperform retrieval baselines on the three
aforementioned datasets and a new dataset of region-level
annotations.

ผลลัพธ์ (ไทย) 1:

เรานำเสนอแบบจำลองที่สร้างอิสระภาษาคำอธิบายของพื้นที่ภาพ รูปแบบของเราใช้ชุดข้อมูลของรูปภาพและคำอธิบายประโยคเพื่อเรียนรู้เกี่ยวกับการโต้ตอบแบบโมดอลระหว่างระหว่างข้อความและข้อมูลภาพ วิธีการของเราขึ้นอยู่กับ combinationof เป็นนวนิยายเครือข่ายประสาทที่ Convolutional มากกว่าภาพภูมิภาค แบบสองทิศทางเครือข่ายประสาทเกิดซ้ำผ่านประโยค และวัตถุประสงค์โครงสร้างให้ modalities ที่สองผ่านการฝังทุก เราแล้วอธิบายการเกิดซ้ำประสาทสถาปัตยกรรมเครือข่ายที่ใช้จัดแนว inferred เพื่อเรียนรู้การสร้างคำอธิบายขอบเขตภาพนวนิยาย เราแสดงให้เห็นถึงประสิทธิภาพของรูปแบบตำแหน่งของเราด้วยทดลองจัดอันดับ Flickr8K, Flickr30K และ MSCOCOdatasets ที่เรามากปรับปรุงสภาพของการศิลปะ เราจากนั้นแสดงว่าประโยคที่สร้างขึ้น โดยของ generativeเรียกเส้นในสามมีประสิทธิภาพสูงกว่ารุ่นdatasets ดังกล่าวและชุดข้อมูลใหม่ระดับภูมิภาคคำอธิบาย

ผลลัพธ์ (ไทย) 2:

เรานำเสนอรูปแบบที่สร้างแบบฟรีฟอร์มภาษาธรรมชาติ
คำอธิบายของภูมิภาคภาพ แบบจำลองของเราใช้ประโยชน์จากชุดข้อมูลของภาพและคำอธิบายประโยคของพวกเขาที่จะเรียนรู้
เกี่ยวกับ correspondences ระหว่างกิริยาระหว่างข้อความและข้อมูลภาพ วิธีการของเราอยู่บนพื้นฐานของ combinationof นวนิยาย Convolutional โครงข่ายประสาทกว่าภูมิภาคภาพแบบสองทิศทาง
โครงข่ายประสาทกำเริบกว่าประโยคและ
วัตถุประสงค์ที่มีโครงสร้างที่สอดคล้องสองรังสีผ่าน
การฝังเนื่อง จากนั้นเราจะอธิบายประสาทกำเริบ
สถาปัตยกรรมเครือข่ายที่ใช้การจัดแนวสรุปการ
เรียนรู้ที่จะสร้างรายละเอียดของพื้นที่นวนิยายภาพ เรา
แสดงให้เห็นถึงความมีประสิทธิผลของรูปแบบการจัดตำแหน่งของเราที่มี
การจัดอันดับการทดลองใน Flickr8K, Flickr30K และ MSCOCO
ชุดข้อมูลที่เราปรับปรุงอย่างมากในรัฐของ
ศิลปะ จากนั้นเราจะแสดงให้เห็นว่าประโยคที่สร้างขึ้นโดยการกำเนิดของเรา
ดีกว่ารูปแบบการดึงเส้นเขตแดนในสาม
ชุดข้อมูลดังกล่าวข้างต้นและชุดใหม่ของภูมิภาคระดับ
คำอธิบายประกอบ

ผลลัพธ์ (ไทย) 3:

เราเสนอแบบจำลองที่สร้างรูปแบบภาษา
ธรรมชาติลักษณะของพื้นที่ภาพ นางแบบของเรายกระดับข้อมูลภาพและคำอธิบายประโยคของพวกเขาที่จะเรียนรู้เกี่ยวกับอินเตอร์ correspondences Modal
ระหว่างข้อความและข้อมูลภาพ วิธีการของเราขึ้นอยู่กับนวนิยาย combinationof ขดเครือข่ายประสาทมากกว่าภูมิภาคภาพ , ลำดับชั้น
กำเริบเครือข่ายประสาทและ
กว่าประโยคโครงสร้าง วัตถุประสงค์ที่จัดสอง modalities ผ่าน
แบบฝังตัว . เราก็อธิบายซ้ำประสาท
สถาปัตยกรรมเครือข่ายที่ใช้ได้ การเรียนรู้เพื่อสร้างคำอธิบาย

นิยายของพื้นที่ภาพ แสดงให้เห็นถึงประสิทธิภาพของแบบเรา

แนวของเรา มีการทดลองการจัดอันดับบน flickr8k flickr30k , และข้อมูล mscoco
,ที่เราสามารถปรับปรุงสถานะของ
ศิลปะ เราแสดงให้เห็นว่าประโยคที่สร้างโดยเซลล์แบบของเราดีกว่าการดึงเส้นบน
3
) ข้อมูลและข้อมูลใหม่ของการจัดการระดับ
)