2.6 Goals of evaluation
The main goal is to investigate how to successfully apply generic
IR technologies to the prior art search and chemical entity search
tasks. Our two-stage relevance judgments will help us uncover the
relationships between generic IR and prior art search. Since recall
biased measures are main performance measures, we will also
have a chance to investigate how to design high recall oriented IR
systems. As entity centric IR is a new research area our chemical
entity search task will help study effective models and approaches
for entity retrieval and entity relationship discovery. We will also
study the effect of document structures and chemical name
tagging.
The meta-analysis of the results will include looking at
relationships between high precision and high recall based IR
systems in terms of the groups’ submitted runs. We will also
present runs generated by groups to real prior art search users and
get their opinions on these runs.
3. CHEMICAL ENTITY SEARCH
Chemical entity search concerns tuples of type .
The category specifies the type of ‘chemicals’ to be retrieved. The
query (consisting of title and description fields) attempts to capture
the information need. The set of relevant entities is assumed to be
loosely defined by the category, since the relationships between
categories of chemicals need to be taken into account. For example,
“fatty acid” consists of “saturated” or “unsaturated” fat, and
“saturated” fat consists of “monounsaturated” and
“polyunsaturated” fat etc. When the specified category is “fatty
acid”, all these related categories need to be considered.
An example chemical entity search topic is as follows:
fatty acids with effect on the risk of heart disease
I want a list of fatty acids that are clinically proven
to either increase or decrease the risk of heart
disease.
fatty acid
saturated fat
unsaturated fat
4. CHEMICAL ENTITY RELATION
SEARCH
In chemical entity relation search, we try to model a more
exploratory search scenario, where people are interested in
exploring the different aspects of entity search results.
One way to carry out the relation search task is to design it as a
two-stage process consisting of an entity search stage, followed by
the relation search stage. Given the entity search results, the
motivation of entity relation search is to retrieve further details
about relevant entities found in entity ranking.
The two stage approach has two advantages. Firstly, since relation
search task is based on entity search task, topic creation and user
evaluation can be integrated for the two tasks. Thus topic creation
and assessment can be greatly simplified. Secondly, the
relationships between the two tasks can be more easily studied.
We call the entities found in entity search the main entities.
Further details about the main entities are retrieved in the form of
relations between each of these main entities and its related
entities, which we call the target entities. The relations between
main entities and target entities can be either 1 to 1, i.e., one main
entity is related to one target entity, 1 to n (n>1), i.e., one main
entity is related to several target entities, or n to 1, i.e., several
main entities is related to one target entity. These relations can be
also seen as specifying attributes of the main entities.
Entity relation search concerns tuples of type . The query and category are
defined in the same way as in the entity search task. The relationquery,
given as free text, describes the desired relation between
main and target entities. The relation query consists of a relation
title and relation description fields. The target-category specifies
which category (entity type) is desired for the target entity.
The results of an entity relation search topic consist of pairs of
main and target entities. For each pair of entities to be judged as a
correct pair, the main entity must be judged as relevant to the
original query, the main entity has to be of its correct category, the
target entity is of its correct category, and the relation between
them matches the relation topic.
Like in the entity search task, the entity types for both the main
and target entities are only loosely defined.
An example is as follows:
enzymes that help decompose nutrients during
digestion
I want a list of enzymes that catalyzes chemical
actions during human digestion.
enzyme
protein
catalyze in human digestion
I want the proteins that the enzyme can
catalyze during human digestion.
protein
In evaluating entity relation search results, several documents
supporting the relationship may be retrieved. The evaluator may
need to read these documents in order to find evidence for judging
whether their relations match the relation topic. Therefore, entity
relation judgment is more complex than typical document
retrieval judgment.
Traditional evaluation measures, e.g., MAP and R-precision etc.
can be used to measure performance expert relation search.
Our proposed two-stage relation retrieval task opens the door to
exploring other types of relation retrieval task. One way is to
focus on the relationships between main entities, e.g., finding
pairs of greenhouse gases that have combined effect in global
warming.
5. CONCLUSIONS
Substantial advances in terms of retrieval models and evaluations
have been made in information retrieval. In the light of these, we
propose the organization of a chemical information retrieval track
for carrying out evaluation of IR techniques on large scale
chemical datasets including patents, academic papers and other
17
documents. Organization of the proposed track will help tackle
research challenges in chemical IR including chemical name
extraction and indexing, chemical entity centric retrieval versus
document centric retrieval, structures in documents, and high
recall in prior art search etc. We outline the plan of the proposed
track in the paper. We propose a novel chemical entity search task
studying the direct retrieval of entities instead of documents. We
think that the organization of the proposed track will help advance
the research in chemical and patent IR by providing a platform for
comparing and experimenting effective models and approaches
that can successfully address the above challenges.
In future years, we will work to extend the initial tasks and
document sets. In particular, we will aim to extend the range of
papers and patents to be searched, include topic specifications
which reflect the iterative reformulation and refinement of real
patent searching, and include forms of patent search beyond prior
art: for example invalidating specific
2.6 เป้าหมายของการประเมิน
เป้าหมายหลักคือ เพื่อศึกษาวิธีการเรียบร้อยแล้วใช้เทคโนโลยี IR ทั่วไป
กับศิลปะก่อนค้นหาและสารเคมีงานค้นหา
นิติบุคคล การตัดสินความเกี่ยวข้องสองของเราจะช่วยให้เราค้นพบ
ความสัมพันธ์ระหว่าง IR ทั่วไปและการค้นหาศิลปะก่อน ตั้งแต่จำได้
ลำเอียง มาตรการการวัดผลการดำเนินงานหลัก เราจะยัง
ได้มีโอกาสไปศึกษาวิธีการออกแบบสูงมุ่งเน้น IR
เรียกคืนระบบ ในฐานะเป็นศูนย์กลางและเป็นพื้นที่วิจัยใหม่ค้นหางานเคมี
นิติบุคคลจะช่วยศึกษาโมเดลที่มีประสิทธิภาพและวิธีการสืบค้นและนิติบุคคลนิติบุคคล
ค้นพบความสัมพันธ์ นอกจากนี้เรายังจะ
ศึกษาผลของโครงสร้างของเอกสารและชื่อ
ทักทายกัน การวิเคราะห์อภิมานผลจะรวมถึงมอง
ความสัมพันธ์ระหว่างความละเอียดสูงและสูงเรียกคืนจาก IR
ระบบในแง่ของกลุ่ม ' ส่งวิ่ง นอกจากนี้เรายังจะ
ปัจจุบันวิ่งที่สร้างขึ้นโดยกลุ่มก่อนจริงปะค้นหาผู้ใช้และได้รับความคิดเห็นของพวกเขาในที่วิ่งนี้
.
3 เคมีกิจการค้นหา
นิติบุคคลเคมีค้นหาความกังวลที่มีประเภท < แบบสอบถามประเภท > .
ประเภทที่ระบุชนิดของสารเคมีที่จะถูกดึง
แบบสอบถามประกอบด้วย ชื่อเรื่อง และเขตข้อมูลรายละเอียด ) พยายามที่จะจับภาพ
ต้องการข้อมูล ชุดของหน่วยงานที่เกี่ยวข้อง จะถือว่ามี
หลวม กําหนดโดย ประเภท เนื่องจากความสัมพันธ์ระหว่าง
ประเภทสารเคมีที่ต้องนำมาพิจารณา ตัวอย่างเช่น ,
" กรดไขมัน " ประกอบด้วย " อิ่มตัว " หรือ " ไม่อ้วน " และ
" อิ่มตัว " ประกอบด้วย " ไขมัน monounsaturated
" และ" ไขมันไม่อิ่มตัว " ฯลฯ เมื่อประเภทที่ระบุเป็น " กรดไขมัน
" ทั้งหมดเหล่านี้หมวดที่เกี่ยวข้องต้องพิจารณา ตัวอย่างเช่น กิจการเคมี
ค้นหาหัวข้อดังนี้
< ชื่อ > กรดไขมันที่มีผลกระทบต่อความเสี่ยงของโรคหัวใจ < / title >
< รายละเอียด > ผมต้องการรายชื่อของไขมัน กรดที่ clinically พิสูจน์
จะให้เพิ่มหรือลดความเสี่ยงของโรคหัวใจ
>
< / รายละเอียดหมวดหมู่ >
< < < ประเภทกรดไขมันประเภท > > หมวดหมู่ >
< >
< / ประเภทไขมันอิ่มตัวไขมันไม่อิ่มตัวประเภท > < < / หมวดหมู่ >
< >
/ ประเภท 4 เคมี
เอนทิตีความสัมพันธ์ในองค์กรค้นหาค้นหาเคมีสัมพันธ์ เราพยายามแบบสำรวจมากกว่า
ค้นหาสถานการณ์ที่คนสนใจ
สำรวจแง่มุมต่าง ๆ ของผลการค้นหา
นิติบุคคลวิธีหนึ่งในการดำเนินความสัมพันธ์ การค้นหางานออกแบบเป็นแบบสองขั้นตอนประกอบด้วย เอนทิตี
ค้นหาเวทีตามความสัมพันธ์ค้นหาขั้นตอน ได้รับผลการค้นหาหน่วยงาน แรงจูงใจในการค้นหาความสัมพันธ์เอนทิตี
จะเรียกหน่วยงานที่เกี่ยวข้อง รายละเอียดเพิ่มเติมเกี่ยวกับที่พบในการจัดอันดับองค์กร .
2 ขั้นตอนวิธีมีข้อดีสอง . ประการแรก เนื่องจากความสัมพันธ์
งานค้นหางานค้นหาขึ้นอยู่กับนิติบุคคล , การสร้างหัวข้อและการประเมินผลผู้ใช้
สามารถบูรณาการสำหรับสองงาน ดังนั้นการสร้างหัวข้อและ
การประเมินจะง่ายมาก . ประการที่สอง ความสัมพันธ์ระหว่างสองงาน
สามารถเพิ่มเติมได้อย่างง่ายดายโดยเราเรียกหน่วยงานที่พบในการค้นหาหน่วยงานหลัก หน่วยงาน .
รายละเอียดเพิ่มเติมเกี่ยวกับหน่วยงานหลักจะถูกเรียกในรูปแบบของ
ความสัมพันธ์ระหว่างกันของหน่วยงานหลักและหน่วยงานที่เกี่ยวข้อง
เหล่านี้ ซึ่งเราเรียกเป้าหมายองค์กร . ความสัมพันธ์ระหว่างหน่วยงานหลักและหน่วยงาน
เป้าหมายได้ 1 ต่อ 1 คือองค์กรหลัก
เกี่ยวข้องกับเป้าหมายหนึ่งตัว , 1 n ( n > 1 ) คือองค์กรหลักที่เกี่ยวข้องกับหลายหน่วยงานเป้าหมาย
, N 1 หรือ ได้แก่ หน่วยงานหลักที่เกี่ยวข้องหลาย
คือ เพื่อเป้าหมายหนึ่งของนิติบุคคลความสัมพันธ์เหล่านี้สามารถ
ยังเห็นเป็นระบุคุณลักษณะขององค์กรหลัก องค์กรที่มีความสัมพันธ์กับ
ค้นหาประเภท < แบบสอบถามประเภท
แบบสอบถามความสัมพันธ์ > ประเภทเป้าหมาย และแบบสอบถามประเภท
นิยามในแบบเดียวกับใน องค์กร ค้นหางาน การ relationquery
มอบให้ , ข้อความฟรี , อธิบายถึงความสัมพันธ์ระหว่างหลักและเป้าหมายที่ต้องการ
หน่วยงาน .ความสัมพันธ์แบบสอบถามประกอบด้วยชื่อเรื่องความสัมพันธ์
ความสัมพันธ์และรายละเอียดด้าน ประเภทเป้าหมายระบุประเภท ( ประเภทนิติบุคคล )
ซึ่งเป็นที่ต้องการสำหรับ องค์กร เป้าหมาย ผลลัพธ์ของความสัมพันธ์ของเอนทิตี
ค้นหาหัวข้อประกอบด้วยคู่หลักและเป้าหมายของหน่วยงาน . สำหรับคู่ของแต่ละหน่วยงานที่จะถูกตัดสินโดย
คู่ที่ถูกต้ององค์กรหลักจะต้องถูกตัดสินว่าเกี่ยวข้องกับ
แบบสอบถามต้นฉบับองค์กรหลักต้องเป็นประเภทที่ถูกต้องขององค์กรเป้าหมายของ
หมวดหมู่ที่ถูกต้อง , และความสัมพันธ์ระหว่างพวกเขาตรงกับความสัมพันธ์
เหมือนในหัวข้อ องค์กร ค้นหางาน ประเภทกิจการทั้งหลักและหน่วยงานเป้าหมายเพียงหลวมๆ
เป็นตัวกำหนด ดังนี้
< ชื่อ > เอนไซม์ที่ช่วยย่อยสลายสารอาหารในระหว่างการย่อยอาหาร < / title >
< รายละเอียด > ผมต้องการรายชื่อของเอนไซม์ที่กระตุ้นการกระทำในระหว่างการย่อยอาหารมนุษย์เคมี
. < / รายละเอียด >
< >
< ประเภทหมวดหมู่ > เอนไซม์ < / หมวดหมู่ >
< ประเภทโปรตีน > < / หมวดหมู่ >
< >
< / ประเภทกิจการสัมพันธ์ >
< ชื่อ > เร่งการย่อยอาหารในมนุษย์สัมพันธ์ < ชื่อ >
< ความสัมพันธ์ / ความสัมพันธ์ > > ฉันต้องการโปรตีน เอนไซม์สามารถเร่งมนุษย์
ในระหว่างการย่อยอาหาร รายละเอียด >
< / ความสัมพันธ์หมวดหมู่ >
< < เป้าหมายประเภทโปรตีน > < / หมวดหมู่ >
< / เป้าหมายประเภท >
< >
/ องค์กรในการประเมินความสัมพันธ์เอนทิตีความสัมพันธ์กับผลลัพธ์การค้นหาเอกสารหลาย
สนับสนุนความสัมพันธ์อาจจะเรียก ประเมินอาจ
ต้องอ่านเอกสารเหล่านี้เพื่อค้นหาหลักฐาน เพื่อตัดสินว่า ความสัมพันธ์ของตนกับ
ตรงกับหัวข้อ ดังนั้น นิติบุคคล
ความยุติธรรมความสัมพันธ์ที่ซับซ้อนกว่าปกติ
แบบสืบค้นเอกสารการตัดสิน การประเมินมาตรการ เช่น แผนที่และ r-precision ฯลฯ
สามารถใช้วัดผลงานผู้เชี่ยวชาญด้านความสัมพันธ์ค้นหา .
ของเราเสนอสองความสัมพันธ์ดึงงานเปิดประตู
สำรวจประเภทอื่น ๆของงานสืบค้นความสัมพันธ์ วิธีหนึ่งคือการมุ่งเน้นความสัมพันธ์ระหว่างหน่วยงาน
หาหลักเช่นคู่ของก๊าซเรือนกระจกที่ได้รวมผลในภาวะโลกร้อนทั่วโลก
.
5 สรุปผลความก้าวหน้าอย่างมากในแง่ของรูปแบบ
ได้สืบค้นและประเมินในการสืบค้นข้อมูล ในแง่ของเหล่านี้เรา
เสนอองค์กรของเคมี สืบค้นติดตาม
ดำเนินการประเมินผลและข้อมูลทางเทคนิคระดับ
ขนาดใหญ่รวมทั้งสิทธิบัตรเอกสารวิชาการและเอกสารอื่น ๆ 17
. องค์กรที่เสนอจะช่วยแก้ไขปัญหาความท้าทายการวิจัยการติดตาม
เคมี IR รวมทั้งชื่อ
ดัชนีการสกัดและเคมีนิติบุคคลสืบค้นสืบค้นเอกสาร เซ็นทริค centric
เมื่อเทียบกับโครงสร้างเอกสารและสูง
จำได้ในการค้นหาศิลปะก่อน ฯลฯ เราร่างแผนเสนอ
ติดตามในกระดาษเราเสนอนวนิยายนิติบุคคลเคมีค้นหางาน
ศึกษาสืบค้นโดยตรงขององค์กรแทนเอกสาร เรา
คิดว่าองค์กรของเสนอ ติดตามจะช่วยให้ก้าวหน้า
การวิจัยในทางเคมีและ IR สิทธิบัตรโดยการให้แพลตฟอร์มสำหรับ
เปรียบเทียบและการทดสอบรุ่นที่มีประสิทธิภาพและวิธีการที่สามารถตอบสนองความท้าทาย
ในข้างต้น ปีในอนาคตเราจะทำงานเพื่อขยายงานเบื้องต้นและ
ชุดเอกสาร โดยเฉพาะ เรามุ่งมั่นที่จะขยายช่วงของ
เอกสารและสิทธิบัตรค้นหา รวมถึงหัวข้อที่กำหนด
ซึ่งสะท้อน reformulation ของการปรับแต่งและการค้นหาสิทธิบัตรจริง
และรวมรูปแบบของการค้นหาสิทธิบัตรกว่าศิลปะก่อน
: ตัวอย่างเช่น invalidating เฉพาะ
การแปล กรุณารอสักครู่..
