Selenium을 공부하기 앞서 BeatifulSoup에 대한 문법을 익히며 네이버 주식 시가총액 크롤링하는 실습을 진행하였습니다. https://finance.naver.com/sise/sise_market_sum.nhn?sosok=1 시가총액 : 네이버 증권 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 finance.naver.com 네이버 증권에 존재하는 시가총액 링크를 활용하여 lxml을 통해 웹페이지를 파싱해 개발자 도구로 해당 테이블을 찾아 각각의 데이터들을 담고 for문을 통해 빈줄 제거를 해줌으로써 csv파일로 만들었습니다. import csv import requests from bs4 import BeautifulSoup url = "https://finance.naver.com/..
Selenium을 통해 웹 브라우저 연결 시 모바일 환경으로 접속하려면 다음과 같이 코드를 입력해야합니다. 먼저, selenium에 대한 라이브러리를 설치해주어야 하기 때문에, pip install selenium 을 통해 selenium 라이브러리를 설치해주고 chrome web driver을 설치해줍니다. 해당 웹 드라이버는 https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 113, please download ChromeDriver 113.0.5672.24 If you are using Chrome ..
글을 되게 오랜만에 쓰는 것 같은데 생각보다 니꼴라쓰가 최종 과제를 일찍 내줬고, 넉넉한 시간과 함께 수행할 시간을 줘서 9일차 이후로 공부 일지 작성을 못했고, 해당 수료증이 발급되고 나서 포스팅을 하려고 생각했기때문에 이제서야 글을 올리게 되었다. 챌린지의 최종 과제는 그동안의 배웠던 내용들을 토대로 웹 사이트를 만들어 스크랩하는 것이었는데, 생소하지만 처음 배웠던 Beautiful Soup 파이썬 패키지와 Flask를 배경으로 웹 사이트를 구축해서 원하는 내용들을 스크랩 해올 수 있었다. from flask import Flask ,render_template, request from extractors.remote import extract_remote_jobs from extractors.wwr..
파이썬 챌린지를 하는 와중에 휴일을 줄거라곤 생각지도 못했는데 그래도 바쁘게 달려와서 그런지 니꼬쌤이 하루는 쉬어가는 시간이라해서 일요일은 푹 쉬었다. 월요일부터 다시 과제가 시작되었는데 웹 스크래핑이라는 주제로 수업이 시작되었다. 웹 크롤링을 처음 다뤄보기도하고 생소했는데 니꼬쌤의 배려인지 과제 제출 기한을 이틀로 설정해두어서 이해하면서 할 수 있었던 것 같다. 웹 크롤링 기본적으로 파이썬의 웹 크롤링은 beautifulSoup로 진행되었다. beatifulSoup는 HTML과 XML 문서들의 구문을 분석하기 위한 파이썬 패키지로 HTML로부터 데이터를 추출하기 위해 사용할 수 있는 파싱된 페이지의 파스 트리를 만드는데, 이는 웹 크롤링에 유용하다. from requests import get from..
For for문의 기본 구조는 다음과 같다. for 변수 in 리스트(or tuple, string): 수행할 문장1 수행할 문장2 ... 리스트 혹은 튜플, 문자열의 첫번째 요소부터 마지막 요소까지 차례대로 변수에 대입되어 수행할 문장들이 실행된다. websites = ( "google.com", "airbnb.com", "https://twitter.com", "facebook.com", "https://tiktok.com" ) for website in websites: if website.startswith("https://"): print("good to go") else: print("we have to fix it") website에 들어가는 변수명은 자유롭게 작성 가능하다. websites..
이번 시간에는 리스트, 튜플, 딕셔너리에서 배웠다. List - List의 요소값은 0부터 시작하며, 변경가능한 값들의 연속체를 만들게 해준다. days_of_week = ["Mon", "Tue", "Wed", "Thur", "Fri"] print(days_of_week) days_of_week = ["Mon", "Tue", "Wed", "Thur", "Fri"] print(days_of_week.clear()) print(days_of_week_reverse()) days_of_week.append("Sat") days_of_week.append("Sun") days_of_week.remove("Fri") Tuple - 튜플은 리스트와 다르게 []대신 ()을 사용하여 표현한다. - 튜플의 요소값 역시 ..
파이썬 챌린지를 진행한지도 어느덧 4일째다. 챌린지에 많은 시간을 투자하는 건 아니지만, 핵심 부분만 알려주는 니꼴라스덕분에 요점만 쏙쏙 배워가는 기분이 든다. 오늘은 Input, And & or , While 제어문에 대해 배웠다. Input - Input은 오직 하나의 인자값만 받는다. age = input("How old are you?") print("user anser:", age) print(type(age)) 다음 코드를 실행하면 몇살이냐는 질문과 함께 입력창이 뜬다. 해당 입력값은 age라는 변수에 저장되고 실제 변수처럼 자유롭게 활용할 수 있게 된다. input 입력값은 기본적으로 문자열이며, 숫자값을 비교하거나 계산할때 다음 코드처럼 int를 붙여 타입을 지정해주면 된다. age = i..
오늘은 저번시간에 배운 함수에 이어 매개변수의 기본값 설정을 지정해주는 것에서 강의가 시작되었다. 하필 학교가는 날 어제보다 분량도 많고 과제도 있어서 시간에 쫓겨 부랴부랴 했다..ㅠㅠ 니꼴라스가 이해하기 쉽게 풀어서 설명해줬는데, 설명한 내용들을 바탕으로 정리해서 포스팅하려고 한다. 매개변수 기본값 설정 def say_hello(user_name = "anonymous" ): print("hello", user_name) say_hello("nico") say_hello() 다음과 같이 매개변수 user_name이 존재할고 함수를 실행할 때 인자값을 주지않으면 에러가 발생한다. 그렇다면 인자값을 주지않고 기본값을 설정하고 싶으면 어떻게 하면 좋을까? 매개변수 값 user_name에 기본값으로 설정하고 ..
