Your bottleneck is most likely the

Your bottleneck is most likely the indexing, not the file reading. assuming your indexing system supports multiple threads, you probably want a producer/consumer setup with one thread reading the file and pushing each line into a BlockingQueue (the producer), and multiple threads pulling lines from the BlockingQueue and pushing them into the index (the consumers).

ผลลัพธ์ (ไทย) 1:

ของคุณรองรับมากที่สุดการทำดัชนี ไฟล์ไม่ได้อ่าน สมมติว่า ระบบการทำดัชนีของคุณรองรับเธรดหลาย อาจต้องการตั้งค่าทั่วไปผู้ผลิตหนึ่งเธรดอ่านแฟ้ม และกดแต่ละบรรทัดลงใน BlockingQueue (การผลิต), และหลายเธรดดึงบรรทัดจากการ BlockingQueue และผลักดันพวกเขาลงในดัชนี (ผู้บริโภค)

ผลลัพธ์ (ไทย) 2:

คอขวดของคุณคือส่วนใหญ่มีแนวโน้มการจัดทำดัชนีที่ไม่อ่านไฟล์ สมมติว่าระบบการจัดทำดัชนีของคุณสนับสนุนหลายหัวข้อคุณอาจต้องการการติดตั้งผู้ผลิต / ผู้บริโภคมีหนึ่งหัวข้อการอ่านไฟล์และผลักดันแต่ละบรรทัดเป็น BlockingQueue (ผู้ผลิต) และหลายหัวข้อดึงสายจาก BlockingQueue และผลักดันพวกเขาเข้าไปในดัชนี (คน ผู้บริโภค)