A. 파이썬 크롤링의 이해

파이썬 응용분야

<<웹>>

• Flask, Django

<<GUI>>

• QT5

<<빅데이터>>

• 출처 : 웹 ==> selenium, bs4
• 포멧 : 비정형데이터 ==> 자연어 처리 : NLTK 코퍼스
• 처리 :
  • 리스트, 튜플, 셋, 딕셔너리  ==> Python
  • 배열, 행렬 ==> numpy
  • frame, serise ==> pandas
• 시각화 :
  • 데이터간의 네트워크 구성 ==> networkX
  • 차트 ==> matplotlib

크롤링이란?

• 웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위

크롤러

• 크롤링 소프트웨어

법적유무

• 개인적 수집은 문제없음
• 상업적 또는 공개하는 경우에는 저작권에 문제될 수 있음

개발환경 구축

• 언어 : 

케라스

• 파이썬으로 구현된 쉽고 간결한 딥러닝 라이브러리
• 뎁러닝 비전문가라도 각자 분야에서 손쉽게 딥러닝 모델을 개발하고 활용
• 텐서플로우(TensorFlow), 티아노(Theano), CNTK엔진 지원

서드파트 인스톨러

• 딥러닝을 위해서는 다양한 패키지 설치를 해야함, 버전호완고려해야함.
  • 아나콘다
  • 캐노피
  • 엑티브파이썬