AWS Lambda와 API 게이트웨이(Rest API)를 통해 게시판의 서버 프로그램을 만들어보는 실습을 하려고합니다. API는 소프트웨어가 다른 소프트웨어로부터 지정된 형식으로 요청, 명령을 받을 수 있는 수단을 API라고 합니다. Lambda 함수 생성 API를 만들기전에 Lambda 함수를 먼저 생성해줘야하는데, 웹서버를 개발할때 Nodejs를 가장 많이 사용하기 때문에 Nodejs를 이용해 Rest API를 구축해보려고 합니다. 해당 코드는 클라이언트의 메소드의 종류에 따라 응답하는 코드입니다. 클라이언트의 요청에 대한 정보는 event에 담기게 되고, operation을 통해 GET 방식, POST 방식 그외 방식을 switch 구문으로 분류해줍니다. REST API 설정하기 게이트웨이 API..
본 내용은 크롤링 봇 만들기와 연관됩니다. https://js990317.tistory.com/11 AWS Lambda 활용해서 크롤링 봇 만들어보기 AWS 람다란? 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있게 해주는 컴퓨팅 서비스입니다. Lambda는 고가용성 컴퓨팅 인프라에서 코드를 실행하고 서버와 운영 체제 유지 관리, js990317.tistory.com 만약 람다 함수가 많이 존재하고 겹치는 라이브러리들이 많으면 어떻게 할까? 이때 람다의 layer을 사용하면 중복되는 라이브러리를 일일이 올리지 않아도 계층으로 꺼내와서 사용할 수 있습니다. 이를 실습으로 포스팅 해보겠습니다. 먼저, 저번에 웹 크롤링을 사용하기 위해 bs4 라이브러리를 사용한것을 토대로 진행해보겠습니다. 먼저,..
AWS 람다란? 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있게 해주는 컴퓨팅 서비스입니다. Lambda는 고가용성 컴퓨팅 인프라에서 코드를 실행하고 서버와 운영 체제 유지 관리, 용량 프로비저닝 및 자동 조정, 코드 및 보안 패치 배포, 로깅 등 모든 컴퓨팅 리소스 관리를 수행합니다. 이러한 람다를 이용해서 이벤트를 발생시켜 크롤링 봇을 만들어보는 실습을 할 것입니다. 람다 함수 생성으로 인해 손 쉽게 람다를 생성할 수 있습니다. 웹 크롤링을 진행할 것이기 때문에 이름은 Hello_Lambda_Python 런타임은 파이썬으로 설정하고 함수를 만들어주도록 하겠습니다. 람다를 생성하면 이제 API 게이트웨이를 통해 웹서버처럼 동작하는것처럼 만들어 줘야하는데, 클라이언트가 접속하게되면 API ..
끄투코리아는 끝말잇기 게임을 할 수 있는 대표적인 사이트 중 하나입니다. 저도 어릴때 많이 즐겨했었는데, 아직도 종종 찾아서 플레이하는 사람들이 많은 것 같아요, 끄투서버는 깃허브에 코드가 공유되어 있기 때문에, 이를 통해 AWS 인스턴스를 생성해 서버를 올려보는 실습을 해보려고 합니다. 1년간 프리티어로 무료로 사용할 수 있는 권한을 갖고 있기 때문에 인스턴스는 리눅스 운영체제로 t2.micro 프리티어가 이용할 수 있는 유형으로 설정했습니다. 인스턴스를 실행시켜준뒤 ssh를 통해 서버를 연결해야하기때문에, cmd 관리자 모드로 실행해 해당 인스턴스 키페어 위치로 경로를 옮겨준 뒤 ssh 명령어를 통해 인스턴스와 연결을 해줍니다. ssh 명령어 예제는 aws 인스턴스를 연결하면 SSH 클라이언트 항목에..
글을 되게 오랜만에 쓰는 것 같은데 생각보다 니꼴라쓰가 최종 과제를 일찍 내줬고, 넉넉한 시간과 함께 수행할 시간을 줘서 9일차 이후로 공부 일지 작성을 못했고, 해당 수료증이 발급되고 나서 포스팅을 하려고 생각했기때문에 이제서야 글을 올리게 되었다. 챌린지의 최종 과제는 그동안의 배웠던 내용들을 토대로 웹 사이트를 만들어 스크랩하는 것이었는데, 생소하지만 처음 배웠던 Beautiful Soup 파이썬 패키지와 Flask를 배경으로 웹 사이트를 구축해서 원하는 내용들을 스크랩 해올 수 있었다. from flask import Flask ,render_template, request from extractors.remote import extract_remote_jobs from extractors.wwr..
파이썬 챌린지를 하는 와중에 휴일을 줄거라곤 생각지도 못했는데 그래도 바쁘게 달려와서 그런지 니꼬쌤이 하루는 쉬어가는 시간이라해서 일요일은 푹 쉬었다. 월요일부터 다시 과제가 시작되었는데 웹 스크래핑이라는 주제로 수업이 시작되었다. 웹 크롤링을 처음 다뤄보기도하고 생소했는데 니꼬쌤의 배려인지 과제 제출 기한을 이틀로 설정해두어서 이해하면서 할 수 있었던 것 같다. 웹 크롤링 기본적으로 파이썬의 웹 크롤링은 beautifulSoup로 진행되었다. beatifulSoup는 HTML과 XML 문서들의 구문을 분석하기 위한 파이썬 패키지로 HTML로부터 데이터를 추출하기 위해 사용할 수 있는 파싱된 페이지의 파스 트리를 만드는데, 이는 웹 크롤링에 유용하다. from requests import get from..
For for문의 기본 구조는 다음과 같다. for 변수 in 리스트(or tuple, string): 수행할 문장1 수행할 문장2 ... 리스트 혹은 튜플, 문자열의 첫번째 요소부터 마지막 요소까지 차례대로 변수에 대입되어 수행할 문장들이 실행된다. websites = ( "google.com", "airbnb.com", "https://twitter.com", "facebook.com", "https://tiktok.com" ) for website in websites: if website.startswith("https://"): print("good to go") else: print("we have to fix it") website에 들어가는 변수명은 자유롭게 작성 가능하다. websites..
이번 시간에는 리스트, 튜플, 딕셔너리에서 배웠다. List - List의 요소값은 0부터 시작하며, 변경가능한 값들의 연속체를 만들게 해준다. days_of_week = ["Mon", "Tue", "Wed", "Thur", "Fri"] print(days_of_week) days_of_week = ["Mon", "Tue", "Wed", "Thur", "Fri"] print(days_of_week.clear()) print(days_of_week_reverse()) days_of_week.append("Sat") days_of_week.append("Sun") days_of_week.remove("Fri") Tuple - 튜플은 리스트와 다르게 []대신 ()을 사용하여 표현한다. - 튜플의 요소값 역시 ..
