First of all, if you are attempting

First of all, if you are attempting any kind of scraping (yes this counts as scraping even though you are not necessarily parsing HTML), you have a certain amount of preliminary investigation to perform.
If you don't already have Firefox and Firebug, get them. Then if you don't already have Chrome, get it.

Start up Firefox/Firebug, and Chrome, clear out all of your cookies/etc. Then open up Firebug, and in Chrome open up View->Developer->Developer Tools.

Then load up the main page of the video you are trying to grab. Take notice of any cookies/headers/POST variables/query string variables that are being set when the page loads. You may want to save this info somewhere.

Then try to download the video, once again, take notice of any cookies/headers/post variables/query string variables that are being set when the video is loaded. It is very likely that there was a cookie or POST variable set when you initially loaded the page, that is required to actually pull the video file.

When you write your python, you are going to need to emulate this interaction as closely as possible. Use python-requests. This is probably the simplest URL library available, and unless you run into a wall somehow with it (something it can't do), I would never use anything else. The second I started using python-requests, all of my URL fetching code shrunk by a factor of 5x.

Now, things are probably not going to work the first time you try them. Soooo, you will need to load the main page using python. Print out all of your cookies/headers/POST variables/query string variables, and compare them to what Chrome/Firebug had. Then try loading your video, once again, compare all of these values (that means what YOU sent the server, and what the SERVER sent you back as well). You will need to figure out what is different between them (don't worry, we ALL learned this one in Kindergarten... "one of these things is not like the other") and dissect how that difference is breaking stuff.

If at the end of all of this, you still can't figure it out, then you probably need to look at the HTML for the page that contains the link to the movie. Look for any javascript in the page. Then use Firebug/Chrome Developer Tools to inspect the javascript and see if it is doing some kind of management of your user session. If it is somehow generating tokens (cookies or POST/GET variables) related to video access, you will need to emulate its tokenizing method in python.

Hopefully all of this helps, and doesn't look too scary. The key is you are going to need to be a scientist. Figure out what you know, what you don't, what you want, and start experimenting and recording your results. Eventually a pattern will emerge.

ผลลัพธ์ (ไทย) 1:

ครั้งแรกของทั้งหมด ถ้าคุณกำลังพยายามใด ๆ ชนิดของ scraping (ใช่นี้นับเป็น scraping แม้ว่าคุณจะไม่จำเป็นต้องแยกวิเคราะห์ HTML), คุณได้เงินสอบสวนเบื้องต้นเพื่อดำเนินการถ้าคุณไม่มี Firefox และ Firebug ได้รับพวกเขา แล้ว ถ้าคุณไม่มีโครเมี่ยม รับเริ่มต้น Firefox/Firebug และโครเมี่ยม ของคุณที่คุกกี้ฯลฯ แล้ว เปิด Firebug และในโครเมี่ยม เปิดมุมมอง -> พัฒนา -> เครื่องมือสำหรับนักพัฒนาโหลดแล้ว ขึ้นหน้าหลักของวิดีโอที่คุณกำลังพยายามจะคว้า จดแจ้งใด ๆ คุกกี้/หัว/ประกาศตัวแปร/สอบถามตัวแปรสายอักขระที่กำหนดเมื่อโหลดหน้า คุณอาจต้องการบันทึกข้อมูลนี้ไว้ครั้ง แล้วลองดาวน์โหลดวิดีโอ จดแจ้งใด ๆ คุกกี้/หัว/ประกาศตัวแปร/สอบถามตัวแปรสายอักขระที่กำหนดเมื่อโหลดวิดีโอ เป็นไปได้มากว่า มีคุกกี้หรือตัวแปร POST ที่ตั้งเมื่อคุณเริ่มโหลดหน้า ที่ต้องดึงไฟล์วิดีโอจริงเมื่อคุณเขียนงูของคุณ คุณจะต้องจำลองการโต้ตอบนี้อย่างใกล้ชิดที่สุด ใช้คำของู นี้จะง่ายที่สุด URL รีว่าง และถ้าคุณเรียกใช้เป็นกำแพง อย่างใดด้วย (บางอย่างก็ไม่ทำ), ฉันจะไม่ใช้อะไร ที่สองผมเริ่มใช้งูคำขอ URL ของฉันนำรหัส shrunk โดยตัวของ 5 x ทั้งหมดตอนนี้ สิ่งคงไม่ไปทำงานครั้งแรกที่คุณลอง ดังนั้น คุณจะต้องโหลดหน้าหลักใช้งู พิมพ์ตัวแปรสายอักขระของคุณคุกกี้/หัว/ประกาศตัวแปร/แบบสอบถามทั้งหมด และเปรียบเทียบกับโครเมี่ ยม/Firebug ได้ ลองโหลดวิดีโอของคุณ อีกครั้ง การเปรียบเทียบของค่าเหล่านี้ (ซึ่งหมายความว่า สิ่งที่คุณส่งเซิร์ฟเวอร์ และที่เซิร์ฟเวอร์ส่งกลับด้วย) คุณจะต้องคิดออกแตกต่างระหว่างพวกเขา (ไม่ต้องกังวล เราทั้งหมดรู้เดียวในชั้นอนุบาล... "สิ่งเหล่านี้อย่างใดอย่างหนึ่งไม่เหมือนกัน") และ dissect วิธีความแตกต่างที่จะทำลายสิ่งนั้นถ้าที่สุดของทั้งหมดนี้ คุณยังคงไม่สามารถแก้ปัญหา แล้วคุณอาจจะต้องดู HTML ของเพจที่ประกอบด้วยการเชื่อมโยงไปยังภาพยนตร์ หาจาวาสคริปต์ใด ๆ ในหน้า แล้ว ใช้เครื่องมือพัฒนา Firebug/โค รเมี่ยม กับ javascript ตรวจสอบดูถ้ามันทำบางชนิดของการจัดการของเซสชันของผู้ใช้ ถ้าอย่างใดกำลังสัญญาณ (คุกกี้หรือตัวแปรลง/รับ) ที่เกี่ยวข้องกับวิดีโอเข้า คุณจะต้องจำลองวิธีการ tokenizing ในงูหวังว่าทั้งหมดนี้ช่วย และไม่ดูน่ากลัวเกินไป สำคัญคือ คุณจะต้อง เป็นนักวิทยาศาสตร์ เข้าใจสิ่งที่คุณรู้ สิ่งที่คุณไม่ สิ่งที่คุณ ต้อง และเริ่มต้นทดลอง และบันทึกผลการ ในที่สุดรูปแบบจะเกิดขึ้น

ผลลัพธ์ (ไทย) 2:

ครั้งแรกของทั้งหมดถ้าคุณกำลังพยายามที่ชนิดของการขูดใด ๆ (ใช่นับเป็นการขูดแม้ว่าคุณไม่จำเป็นต้องแยก HTML) คุณมีจำนวนหนึ่งของการตรวจสอบเบื้องต้นในการดำเนินการ.
ถ้าคุณทำไม่ได้มี Firefox และ Firebug, พวกเขาได้รับ แล้วถ้าคุณไม่ได้มีโครเมี่ยมได้รับมัน. เริ่ม Firefox / Firebug และโครเมี่ยมล้างออกทั้งหมดของคุกกี้ของคุณ / etc จากนั้นเปิด Firebug และใน Chrome เปิด View-> นักพัฒนา> เครื่องมือสำหรับนักพัฒนา. แล้วโหลดขึ้นหน้าหลักของวิดีโอที่คุณกำลังพยายามที่จะคว้า จะแจ้งให้ทราบคุกกี้ใด ๆ / หัว / POST ตัวแปร / แบบสอบถามตัวแปรสตริงที่มีการตั้งค่าเมื่อโหลดหน้า คุณอาจต้องการที่จะบันทึกข้อมูลนี้ในที่ใดที่หนึ่ง. จากนั้นพยายามที่จะดาวน์โหลดวิดีโออีกครั้งหนึ่งที่จะแจ้งให้ทราบคุกกี้ใด ๆ / หัว / ตัวแปรโพสต์ / แบบสอบถามตัวแปรสตริงที่มีการตั้งค่าเมื่อวิดีโอถูกโหลด มันมีโอกาสมากที่มีคุกกี้หรือชุดตัวแปรโพสต์เมื่อคุณเริ่มการโหลดหน้าเว็บที่จำเป็นจริงดึงไฟล์วิดีโอ. เมื่อคุณเขียนหลามของคุณคุณจะต้องที่จะเลียนแบบการทำงานร่วมกันอย่างใกล้ชิดนี้เป็นไปได้ ใช้การร้องขอหลาม นี้น่าจะเป็นห้องสมุด URL ที่ง่ายที่สุดที่มีอยู่และถ้าคุณใช้เป็นผนังอย่างใดกับมัน (บางสิ่งบางอย่างก็ไม่สามารถทำ) ฉันจะไม่ใช้สิ่งอื่นใด อย่างที่สองผมเริ่มใช้การร้องขอหลามทั้งหมดของ URL ที่ฉันเรียกรหัสหดโดยปัจจัยที่ 5 เท่าได้. ตอนนี้สิ่งที่อาจจะไม่ได้ไปทำงานครั้งแรกที่คุณลองพวกเขา เหมือนคุณจะต้องโหลดหน้าหลักใช้หลาม พิมพ์ออกทั้งหมดของคุกกี้ของคุณ / หัว / POST ตัวแปร / แบบสอบถามตัวแปรสตริงและเปรียบเทียบกับสิ่งที่โครเมี่ยม / Firebug มี แล้วลองโหลดวิดีโอของคุณอีกครั้งเปรียบเทียบทั้งหมดของค่าเหล่านี้ (ที่หมายถึงสิ่งที่คุณส่งเซิร์ฟเวอร์และเซิร์ฟเวอร์สิ่งที่ส่งคุณกลับมาเช่นกัน) คุณจะต้องคิดออกสิ่งที่แตกต่างระหว่างพวกเขา (ไม่ต้องกังวลเราทุกคนได้เรียนรู้ในโรงเรียนอนุบาลนี้ ... "หนึ่งในสิ่งเหล่านี้จะไม่เหมือนคนอื่น ๆ ") และวิธีการผ่าความแตกต่างที่จะทำลายสิ่งที่. ถ้า ในตอนท้ายของทั้งหมดนี้คุณยังไม่สามารถคิดออกแล้วคุณอาจจะต้องมองไปที่ HTML สำหรับหน้าเว็บที่มีการเชื่อมโยงกับภาพยนตร์ที่ มองหาจาวาสคริปต์ในหน้าใด ๆ จากนั้นใช้ Firebug / Chrome เครื่องมือสำหรับนักพัฒนาจาวาสคริปต์ในการตรวจสอบและดูว่ามันจะทำบางชนิดของการจัดการของเซสชั่นผู้ใช้ของคุณ ถ้ามันเป็นอย่างใดสร้างสัญญาณ (คุกกี้หรือ POST / GET ตัวแปร) ที่เกี่ยวข้องกับการเข้าถึงวิดีโอที่คุณจะต้องเลียนแบบวิธีการ tokenizing ในหลาม. หวังว่าทั้งหมดนี้จะช่วยให้และไม่ได้ดูน่ากลัวเกินไป ที่สำคัญคือการที่คุณจะต้องเป็นนักวิทยาศาสตร์ คิดออกว่าคุณรู้ว่าสิ่งที่คุณทำไม่ได้สิ่งที่คุณต้องการและเริ่มต้นการทดลองและการบันทึกผลลัพธ์ของคุณ ในที่สุดรูปแบบที่จะโผล่ออกมา

ผลลัพธ์ (ไทย) 3:

แรกของทั้งหมดถ้าคุณกำลังชนิดของใด ๆขูด ( ขูดครับ นี่ถือว่าเป็นแม้ว่าคุณจะไม่ได้แยกวิเคราะห์ HTML ) , คุณมีจำนวนหนึ่งของการสืบสวนเบื้องต้นที่จะดำเนินการ .
ถ้าคุณยังไม่มี Firefox และเขียนได้ แล้วถ้าคุณไม่มีโครเมี่ยม รับ

เริ่มต้น Firefox / Chrome Firebug และล้างออกทั้งหมดของคุกกี้ของคุณ / ฯลฯแล้วเปิด Firebug และใน Chrome เปิดมุมมอง - > นักพัฒนา - > เครื่องมือพัฒนา

แล้วโหลดขึ้นหน้าหลักของวีดีโอที่คุณกำลังพยายามที่จะจับ สังเกตุคุกกี้ใด ๆ / ส่วนหัว / โพสต์ / ตัวแปรตัวแปรสตริงการสืบค้นที่ถูกตั้งเมื่อโหลดเพจ คุณอาจต้องการที่จะบันทึกข้อมูลนี้ที่ไหน

แล้วพยายามที่จะดาวน์โหลดวิดีโออีกครั้งสังเกตุจากคุกกี้ / ส่วนหัว / โพสต์ / แบบสอบถามตัวแปรตัวแปรสตริงที่ถูกตั้งเมื่อ วิดีโอ คือโหลด มันมีโอกาสมากที่ มีคุกกี้หรือโพสต์เมื่อคุณเริ่มต้นตัวแปรชุดโหลดหน้า ที่ต้องใช้จริง ๆ ดึงไฟล์วิดีโอ .

เมื่อคุณเขียน Python ของคุณ คุณจะต้องการที่จะเลียนแบบการปฏิสัมพันธ์นี้เป็นอย่างใกล้ชิดที่สุดเท่าที่จะเป็นไปได้ ใช้ของูเหลือมมันอาจจะง่าย URL ห้องสมุดที่มีอยู่ , และถ้าคุณชนกำแพงอย่างใดกับมัน ( สิ่งที่มันทำไม่ได้ ) ผมไม่เคยใช้อย่างอื่น ที่สองที่ผมเริ่มใช้ของูเหลือม ทั้งหมดของ URL ของฉันเรียกรหัสหดโดยปัจจัยที่ 5x

ตอนนี้ มันอาจจะไม่ได้ไปทำงานครั้งแรกที่คุณลองพวกเขา ดังนั้น คุณจะต้องโหลดหน้าหลักใช้งูเหลือมพิมพ์ทั้งหมดของคุกกี้ของคุณ / ส่วนหัว / โพสต์ / ตัวแปรตัวแปรสตริงการสืบค้น และเปรียบเทียบกับสิ่งที่ Chrome / เขียนได้ แล้วลองโหลดวิดีโอของคุณ อีกครั้ง เปรียบเทียบทั้งหมดของค่าเหล่านี้ ( หมายถึงสิ่งที่คุณส่งเซิร์ฟเวอร์ และเซิร์ฟเวอร์ส่งคุณกลับเช่นกัน ) คุณจะต้องคิดออกสิ่งที่แตกต่างระหว่างพวกเขา ( ไม่ต้องห่วง เราทุกคนได้เรียนรู้ในโรงเรียน . . . . . . ." หนึ่งในนี้ไม่เหมือนเรื่องอื่น ๆ " ) และวิเคราะห์วิธีการที่แตกต่างคือ ทำลายข้าวของ

ถ้าสิ้นทั้งหมดนี้ คุณยังคิดไม่ออก แล้วคุณอาจต้องการที่จะดูที่ HTML สำหรับหน้าเว็บที่มีการเชื่อมโยงไปยังภาพยนตร์ ค้นหาจาวาสคริปต์ในหน้าแล้วใช้ Firebug / Chrome พัฒนาเครื่องมือในการตรวจสอบ JavaScript และดูถ้าจะทำชนิดของการจัดการเซสชันของผู้ใช้ของคุณ ถ้ามันเป็นอย่างใด สร้างสัญญาณ ( คุกกี้หรือโพสต์ / ได้รับตัวแปร ) ที่เกี่ยวข้องกับวิดีโอการเข้าถึง , คุณจะต้องการที่จะเลียนแบบวิธีการ tokenizing ใน Python .

หวังว่าทั้งหมดนี้จะช่วยให้ และดูไม่น่ากลัวเกินไป ที่สำคัญคือคุณจะต้องเป็นนักวิทยาศาสตร์คิดออกสิ่งที่คุณรู้ว่าคุณไม่ได้สิ่งที่คุณต้องการและเริ่มต้นการทดสอบและบันทึกผลของคุณ สุดท้ายรูปแบบจะออกมา