동영상 갯수 크롤링

Date: 2021년 9월 13일 → 2021년 9월 17일 Tags: completed

작성자 : 김택윤

작업 진행 방향 및 참고 사항

1. 대부분의 플랫폼의 구조는 플랫폼 → 카테고리 → 클래스 → 동영상
2. 크롤링의 진행 과정은 위의 구조와 동일하게 진행 됩니다.
3. 카테고리를 통하여 크롤링이 시작 되기 때문에 카테고리 안에 포함되어 있지 않은 클래스는 크롤링이 되지 않을 가능성이 있습니다.
4. 크롤링을 진행 할때 각각의 플랫폼에서 사용하고 있는 API를 사용하고 있지 않기 때문에 동영상의 갯수가 실제와 다를 가능성이 있습니다.

결과

플랫폼	course 수	video 수
클래스 101	2160	72144
인프런	1155	40318
클래스유	1004	25139
탈잉	118	2934
바이블	19	332
원더월	81	635
하비풀	172	x
베어유	x	x

진행 상황

• 클래스 101

  • 21.09.13
  • 금요일 부터 진행 한 selenium을 이용하여 크롤링 하는 작업을 진행.
  • 아직 오픈이 되지 않은 클래스를 제외하고 바로 수강이 되는 클래스를 크롤링
  • 해당 클래스 페이지의 클래스 정보에 있는 세부강의 정보를 크롤링

• 인프런

  • 21.09.14
  • 전체 강의를 리스트를 제공해주고 있음.
  • course의 url 주소를 취합 하여 각각의 course에서 제공해주는 video 갯수 크롤링
  • 현재 ( 21.09.14 ) 크롤링 진행 중 api call 제한에 걸려 한번에 결과 취합에 시간이 조금 걸릴 예정

• 클래스유

  • 21.09.15
  • 클래스유에서 프론트 단에서 사용하는 API를 사용하여 조사

• 탈잉

  • 21.09.15
  • 탈잉이 제공하는 서비스는 강의 방식, VOD 방식을 제공하고 있습니다. 이때 강의 형태는 video제공이 아닌 대면 또는 라이브를 이용하여 진행 하기 때문에 video의 갯수를 구하는거에 대한 의미가 없어 보여 크롤링을 진행하지 않았습니다. 강의 형식의 클래스 갯수는 6,737 입니다.
  • video의 갯수는 탈잉의 VOD 서비스 에서 제공해 주는 부분을 크롤링 한 결과 입니다.

• 바이블

  • 21.09.16

• 원더월

  • 21.09.16

• 하비풀

  • 21.09.17
  • course 디테일 정보에 동영상의 정보가 나와 있지 않음

• 베어유

  • 21.09.17
  • course 디테일 정보가 하나의 이미지 통째로 올라가 있어 비디오 갯수를 크롤링하기가 어려움