Filezilla란? 파일질라는 FTP(File Transfer Protocol)프로그램 중 하나로, 개인 컴퓨터와 웹서버간의 파일을 전송하기 위한 목적으로 사용되는 프로그램입니다. 파일질라 프로그램을 통해 Window와 EC2 인스턴스간의 연결을 해보려고 합니다. 먼저, 윈도우 환경에 파일질라를 설치해줍니다. https://filezilla-project.org/download.php?platform=win64 설치 후, 파일질라를 열면 다음과 같이 화면이 뜨는데 먼저 설정을 통해 키 파일을 추가해줍니다. Filezilla 설정 Key 파일 추가 편집 > 설정 > SFTP > 키 파일 추가 버튼을 눌러 EC2 인스턴스의 키 파일을 추가해줍니다. Filezilla 사이트 관리자 추가 파일질라의 파일 > ..
해당 os가 달라 명령어가 다를 수 있으니 그 점 양해부탁리겠습니다. 필자는 Amazon linux 환경에서 chrome과 selenium을 설치했습니다. 1) 최신 버전의 Chrome 가져오기 wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 2) Chrome 설치하기 sudo yum install ./google-chrome-stable_current_x86_64.rpm google-chrome --version ## 크롬 설치후 크롬 버전 확인하기 Chrome 설치후에 Chrome Driver을 설치해야하는데 크롬과 버전이 일치한 드라이버를 설치해주면 됩니다. 3) ChromeDriver 설치하기 Chrom..
Selenium을 공부하기 앞서 BeatifulSoup에 대한 문법을 익히며 네이버 주식 시가총액 크롤링하는 실습을 진행하였습니다. https://finance.naver.com/sise/sise_market_sum.nhn?sosok=1 시가총액 : 네이버 증권 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 finance.naver.com 네이버 증권에 존재하는 시가총액 링크를 활용하여 lxml을 통해 웹페이지를 파싱해 개발자 도구로 해당 테이블을 찾아 각각의 데이터들을 담고 for문을 통해 빈줄 제거를 해줌으로써 csv파일로 만들었습니다. import csv import requests from bs4 import BeautifulSoup url = "https://finance.naver.com/..
Selenium을 통해 웹 브라우저 연결 시 모바일 환경으로 접속하려면 다음과 같이 코드를 입력해야합니다. 먼저, selenium에 대한 라이브러리를 설치해주어야 하기 때문에, pip install selenium 을 통해 selenium 라이브러리를 설치해주고 chrome web driver을 설치해줍니다. 해당 웹 드라이버는 https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 113, please download ChromeDriver 113.0.5672.24 If you are using Chrome ..
AWS Lambda와 API 게이트웨이(Rest API)를 통해 게시판의 서버 프로그램을 만들어보는 실습을 하려고합니다. API는 소프트웨어가 다른 소프트웨어로부터 지정된 형식으로 요청, 명령을 받을 수 있는 수단을 API라고 합니다. Lambda 함수 생성 API를 만들기전에 Lambda 함수를 먼저 생성해줘야하는데, 웹서버를 개발할때 Nodejs를 가장 많이 사용하기 때문에 Nodejs를 이용해 Rest API를 구축해보려고 합니다. 해당 코드는 클라이언트의 메소드의 종류에 따라 응답하는 코드입니다. 클라이언트의 요청에 대한 정보는 event에 담기게 되고, operation을 통해 GET 방식, POST 방식 그외 방식을 switch 구문으로 분류해줍니다. REST API 설정하기 게이트웨이 API..
본 내용은 크롤링 봇 만들기와 연관됩니다. https://js990317.tistory.com/11 AWS Lambda 활용해서 크롤링 봇 만들어보기 AWS 람다란? 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있게 해주는 컴퓨팅 서비스입니다. Lambda는 고가용성 컴퓨팅 인프라에서 코드를 실행하고 서버와 운영 체제 유지 관리, js990317.tistory.com 만약 람다 함수가 많이 존재하고 겹치는 라이브러리들이 많으면 어떻게 할까? 이때 람다의 layer을 사용하면 중복되는 라이브러리를 일일이 올리지 않아도 계층으로 꺼내와서 사용할 수 있습니다. 이를 실습으로 포스팅 해보겠습니다. 먼저, 저번에 웹 크롤링을 사용하기 위해 bs4 라이브러리를 사용한것을 토대로 진행해보겠습니다. 먼저,..
AWS 람다란? 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있게 해주는 컴퓨팅 서비스입니다. Lambda는 고가용성 컴퓨팅 인프라에서 코드를 실행하고 서버와 운영 체제 유지 관리, 용량 프로비저닝 및 자동 조정, 코드 및 보안 패치 배포, 로깅 등 모든 컴퓨팅 리소스 관리를 수행합니다. 이러한 람다를 이용해서 이벤트를 발생시켜 크롤링 봇을 만들어보는 실습을 할 것입니다. 람다 함수 생성으로 인해 손 쉽게 람다를 생성할 수 있습니다. 웹 크롤링을 진행할 것이기 때문에 이름은 Hello_Lambda_Python 런타임은 파이썬으로 설정하고 함수를 만들어주도록 하겠습니다. 람다를 생성하면 이제 API 게이트웨이를 통해 웹서버처럼 동작하는것처럼 만들어 줘야하는데, 클라이언트가 접속하게되면 API ..
끄투코리아는 끝말잇기 게임을 할 수 있는 대표적인 사이트 중 하나입니다. 저도 어릴때 많이 즐겨했었는데, 아직도 종종 찾아서 플레이하는 사람들이 많은 것 같아요, 끄투서버는 깃허브에 코드가 공유되어 있기 때문에, 이를 통해 AWS 인스턴스를 생성해 서버를 올려보는 실습을 해보려고 합니다. 1년간 프리티어로 무료로 사용할 수 있는 권한을 갖고 있기 때문에 인스턴스는 리눅스 운영체제로 t2.micro 프리티어가 이용할 수 있는 유형으로 설정했습니다. 인스턴스를 실행시켜준뒤 ssh를 통해 서버를 연결해야하기때문에, cmd 관리자 모드로 실행해 해당 인스턴스 키페어 위치로 경로를 옮겨준 뒤 ssh 명령어를 통해 인스턴스와 연결을 해줍니다. ssh 명령어 예제는 aws 인스턴스를 연결하면 SSH 클라이언트 항목에..
