목록

'홈' 731건

  • 해외 주식 크롤링 프로그램 만들기
    바이브 코딩/Cursor AI · 댓글
    01 파이낸스에서 주가가 가장 많이 오른 주식 데이터를 수집해보겠습니다. 아래 사이트에 접속한 다음 F12를 눌러 개발자 도구를 열고, 주식 데이터를 포함하고 있는 영역의 태그를 마우스 오버로 찾습니다. 만약 원하는 데이터를 감싸고 있는 태그가 잘 선택되지 않는다면, 화면에서 크롤링하려는 데이터 근처에 마우스를 올리고 오른쪽 클릭을 한 다음 [검사]를 누르면 좀 더 정확하게 찾을 수 있습니다.야후 파이낸스 상위 상승 주식https://finance.yahoo.com/markets/stocks/gainers/ Top Stock Gains: US stocks posting the highest gains today - Yahoo FinanceYahoo Finance's list of top gaining s..
  • 실시간 경매 시스템 - 서버센트 이벤트 사용하기(3)
    프로그래밍 언어/NODE JS · 댓글
    이제 경매를 진행하는 페이지를 만들어보겠습니다. 이 페이지는 서버센트 이벤트와 웹 소켓 모두에 연결합니다. views/auction.html{% extends 'layout.html' %}{% block good %} {{good.name}} 등록자: {{good.Owner.nick}} 시작가: {{good.price}}원 {% endblock %}{% block content %} {% for bid in auction %} {{bid.User.nick}}님: {{bid.bid}}원에 입찰하셨습니다. {% if bid.msg %} ({{bid.msg}}) {% endif %..
  • 1년치 금 시세 크롤링하기 - 통계 처리하고 시각화하기
    바이브 코딩/Cursor AI · 댓글
    01 통계값 처리를 하려면 먼저 액셀 파일은 닫힌 상태여야 합니다. 파일이 열려 있는 상태에서는 데이터에 접근하지 못할 수도 있습니다. 커서에게 수집한 데이터로 통계값을 만들어달라고 요청하겠습니다. 그러면 커서가 한 번 명령을 내리면 알아서 통계값을 만들어주는 파이썬 코드르 작성해줄 것입니다.크롤링한 액셀 파일을 확인하고 통계값을 계산해서 액셀에 기록해줘. 02 이번에는 커서에게 부탁해서 받은 코드는 다양한 값을 계산하는 구성으로 작성되었습니다. 커서가 안내한 대로 파이썬 코드를 실행해달라고 요청하겠습니다. 그러면 분석 내용을 보여줌과 동시에 다음과 같이 gold_prices.xlsx에 시트가 추가되었습니다. 03 파일을 열어보면 통계값을 제대로 만들었습니다. 04 이제 수집한 통계값을 이용해서 시각화해..
  • 1년치 금 시세 크롤링하기
    바이브 코딩/Cursor AI · 댓글
    01 먼저 개발자 도구를 열어 데이터를 살펴봅니다. 크롬 브라우저에서 F12를 누르거나 마우스 오른쪽 클릭을 한 다음 [검사]를 누르면 개발자 도구가 열립니다. 여기 위쪽에 있는 [Elements] 또는 [요소]라는 탭을 찾아 눌러봅니다. 한국금거래소 홈페이지https://www.soongumnara.co.kr/price/gold 순금나라금매입, 골드바/실버바 판매, 금시세(금값시세), 은시세 정보 제공, 다이아몬드 매입, 전국 대리점 안내!www.soongumnara.co.kr 그러면 요소에 나 , 와 같이 꺽쇠 괄호로 감싸진 데이터가 보일 것입니다. 이렇게 꺽쇠 괄호로 가둔 형태의 무언가를 HTML 태그라고 합니다. 보통 웹 사이트는 이런 태그 안이나 태그 서버에 데이터를 입력해 구성합니다. 02 [..
  • <c:redirect> 태그를 이용한 실습
    프로그래밍 언어/자바 웹 · 댓글
    태그는 지정된 JSP 페이지로 리다이렉트할 때 사용합니다. response.sendRedirect() 기능과 동일하며 태그로 리다이렉트할 때 매개변수를 전달할 수 있습니다. 사용 형식은 다음과 같습니다. [ ] 여기서 url은 리다이렉트 될 URL이 저장될 변수를 지정합니다. 1. 태그를 이용해 회원 정보 출력 창으로 리다이렉트합니다. 리다이렉트하면서 회원 정보를 매개변수로 전달합니다. 2. http:localhost:8080/pro14/test03/redirectTest.jsp로 요청하면 test01/member1.jsp로 리다이렉트됩니다. 그러면서 매개변수로 전달한 회원 정보를 출력합니다.
  • 종목별 시가총액 데이터 수집하기 - 데이터 정제하기
    프로그래밍 언어/Python · 댓글
    웹 환경에서 수집한 데이터는 정제가 필요합니다. 이런 작업에는 pandas 패키지를 사용하는 것이 적합합니다. 앞서 수집한 데이터는 header와 body가 키고, 각 키에 리스트 타입의 값이 짝지어진 딕셔너리 타입입니다. 딕셔너리를 pandas 패키지의 데이터프레임으로 변환하고 데이터프레임에서 불필요한 행과 열, 공백 문자를 삭제하겠습니다. 비주얼 스튜디오 코드에서 새로운 파일을 만들고, 파일 명을 'step_1_4.py'로 자정합니다. 다음 코드를 입력한 뒤 대화형 창에서 실행합니다. 앞서 수집한 데이터가 CSV 파일로 저장됩니다.import jsonfrom pathlib import Pathimport pandas as pdfrom step_1_1 import OUT_DIR # 이전에 작성한 모듈을..
  • 실시간 경매 시스템 - 서버센트 이벤트 사용하기(2)
    프로그래밍 언어/NODE JS · 댓글
    서버센트 이벤트는 한 가지 단점이 있습니다. IE나 엣지 브라우저에서 사용할 수 없다는 것입니다. EventSource라는 객체를 지원하지 않기 때문인데, 다행히 EventSource를 사용자가 직접 구현할 수 있습니다. IE나 엣지 브라우저를 위해 클라이언트 코드에 EventSource 폴리필(polyfill)을 넣었습니다. views/main.html{% extends 'layout.html' %} {% block content %} 경매 진행 목록 상품명 이미지 시작 가격 종료 시간 입장 {% for good in goods %} {{good.name}} {{good.p..
  • <c:url> 태그를 이용한 실습
    프로그래밍 언어/자바 웹 · 댓글
    테스트는 JSP 페이지에서 URL 정보를 저장하는 역할을 하며, 사용 형식은 다음과 같습니다. [] .. 여기서 var은 생성된 URL이 저장될 변수를, value는 생성한 URL을, scope는 scope 속성의 값을 지정합니다. 1. ulTest.jsp를 다음과 같이 작성합니다. 태그를 이용해 다른 페이지로 이동하면서 데이터를 전달합니다. 따라서 이동할 페이지로 전달할 데이터가 많을 경우에 사용하면 편리합니다. 회원정보출력 --%> 회원정보출력 2. http://localhost:8080/pro14/test03/urlTest.jsp로 요청한 후 회원정보출력을 클릭합니다. 3. 매개변수로 전달된 회원 정보를 출력합니다. (member1.jsp에서 ${속성}을 ${para..
  • 메모 앱에 회원가입, 로그인, 로그아웃, 메모 저장 기능 더하기
    바이브 코딩/Cursor AI · 댓글
    v0에 접속하여 로그인하고 다음과 같이 요청해서 간단히 메모 앱을 만듭니다. 밝은 분위기의 메모 앱 화면을 만들어줘. 만든 메모 앱 화면 오른쪽 위의 · · · 버튼에 있는 [Download ZIP] 버튼을 눌러 다운로드 한 후 my-awesome-memoapp 폴더를 만든 후 폴더에 압축을 풉니다. 이제 커서가 작업할 수 있도록 my-awesome-memoapp 폴더를 엽니다.작업할 프로젝트 폴더가 가장 맨 위에 있는 상태에서 새 채팅창을 열고 다음과 같이 요청합니다. 현재 프로젝트에 데이터베이스를 추가하고 회원가입, 로그인, 로그아웃을 구현해줘. 커서는 아마 프리즈마라는 도구를 설치하여 데이터베이스와 프로젝트를 연결하는 설정을 하겠다고 할 겁니다. [Run]을 눌러 실행합니다. 프리즈마는 데이..
  • 종목별 시가총액 데이터 수집하기 - 종목별 시가총액 데이터 수집하기(2)
    프로그래밍 언어/Python · 댓글
    시가총액 수집 함수playwirght 패키지의 녹화 기능을 사용해 생성한 코드와 개발자 도구의 검사 모드에서 추출한 HTML 태그를 바탕으로 시가총액을 구집하는 함수 parse_table_kospi()를 만들어 사용합니다.비주얼 스튜디오 코드에서 새로운 파일을 생성하고, 파일명을 'step_1_3.py'로 저장합니다. 다음 코드를 입력한 뒤 실행 아이콘을 클릭하여 실행합니다. 크로미움 웹 브라우저를 사용하여 네이버페이 증권에서 코스피 시가총액 데이터를 수집한 후, JSON 형식으로 저장합니다. ch07/step_1_3.pyimport jsonfrom pathlib import Pathfrom playwright.sync_api import Pagefrom step_1_1 import OUT_DIRfrom..
  • 실시간 경매 시스템 만들기 - 서버센트 이벤트 사용하기(1)
    프로그래밍 언어/NODE JS · 댓글
    플링이나 웹 소켓을 통해 서버 시간을 받아올 수도 있지만, 이번 예제에서는 서버센트 이벤트를 사용해 서버의 시간을 받아올 것입니다. 주기적으로 서버 시간을 조회하는 데 양방향 통신이 필요하지 않기 때문입니다.웹 소켓도 사용합니다. 웹 소켓은 경매를 진행하는 동안에 다른 사람이 참여하거나 입찰했을 때 모두에게 금액을 알리는 약할을 할 것입니다. 서버센트 이벤트와 웹 소켓은 같이 사용할 수 있습니다.SSE 패키지와 Socket.IO 패키지를 동시에 설치하겠습니다.$ npm i sse socket.io@2 서버와 sse, socket.io 모듈을 연결합니다. app.jsconst express = require("express");const path = require("path");const morgan = ..
  • <c:forEach> 태그를 이용한 실습
    프로그래밍 언어/자바 웹 · 댓글
    태그는 JSP 페이지에서 반복문을 수행하는 태그이며, 사용 형식은 다음과 같습니다. step="증가값" varStatus="반복상태변수이름"> ... 여기서 var는 반복할 변수 이름을, items는 반복할 변수 이름을, items는 반복할 객체 이름을 지정합니다. begin과 end는 각각 반복 시작 및 종료 값을 , step은 한 번 반복할 때마다 반복 변수를 증가시킬 값을, varStatus는 반복 상태 속성을 지정합니다. varStatus의 여러 가지 속성을 아래 표에 정리했습니다.속성값설명indexintitems에서 정의한 항목을 가리키는 index 번호입니다. 0부터 시작합니다.countint몇 번째 반복인지 나타냅니다. 1부터 시작합니다.firstb..

해외 주식 크롤링 프로그램 만들기

01 파이낸스에서 주가가 가장 많이 오른 주식 데이터를 수집해보겠습니다. 아래 사이트에 접속한 다음 F12를 눌러 개발자 도구를 열고, 주식 데이터를 포함하고 있는 영역의 태그를 마우스 오버로 찾습니다. 만약 원하는 데이터를 감싸고 있는 태그가 잘 선택되지 않는다면, 화면에서 크롤링하려는 데이터 근처에 마우스를 올리고 오른쪽 클릭을 한 다음 [검사]를 누르면 좀 더 정확하게 찾을 수 있습니다.야후 파이낸스 상위 상승 주식https://finance.yahoo.com/markets/stocks/gainers/ Top Stock Gains: US stocks posting the highest gains today - Yahoo FinanceYahoo Finance's list of top gaining s..

실시간 경매 시스템 - 서버센트 이벤트 사용하기(3)

이제 경매를 진행하는 페이지를 만들어보겠습니다. 이 페이지는 서버센트 이벤트와 웹 소켓 모두에 연결합니다. views/auction.html{% extends 'layout.html' %}{% block good %} {{good.name}} 등록자: {{good.Owner.nick}} 시작가: {{good.price}}원 {% endblock %}{% block content %} {% for bid in auction %} {{bid.User.nick}}님: {{bid.bid}}원에 입찰하셨습니다. {% if bid.msg %} ({{bid.msg}}) {% endif %..

1년치 금 시세 크롤링하기 - 통계 처리하고 시각화하기

01 통계값 처리를 하려면 먼저 액셀 파일은 닫힌 상태여야 합니다. 파일이 열려 있는 상태에서는 데이터에 접근하지 못할 수도 있습니다. 커서에게 수집한 데이터로 통계값을 만들어달라고 요청하겠습니다. 그러면 커서가 한 번 명령을 내리면 알아서 통계값을 만들어주는 파이썬 코드르 작성해줄 것입니다.크롤링한 액셀 파일을 확인하고 통계값을 계산해서 액셀에 기록해줘. 02 이번에는 커서에게 부탁해서 받은 코드는 다양한 값을 계산하는 구성으로 작성되었습니다. 커서가 안내한 대로 파이썬 코드를 실행해달라고 요청하겠습니다. 그러면 분석 내용을 보여줌과 동시에 다음과 같이 gold_prices.xlsx에 시트가 추가되었습니다. 03 파일을 열어보면 통계값을 제대로 만들었습니다. 04 이제 수집한 통계값을 이용해서 시각화해..

1년치 금 시세 크롤링하기

01 먼저 개발자 도구를 열어 데이터를 살펴봅니다. 크롬 브라우저에서 F12를 누르거나 마우스 오른쪽 클릭을 한 다음 [검사]를 누르면 개발자 도구가 열립니다. 여기 위쪽에 있는 [Elements] 또는 [요소]라는 탭을 찾아 눌러봅니다. 한국금거래소 홈페이지https://www.soongumnara.co.kr/price/gold 순금나라금매입, 골드바/실버바 판매, 금시세(금값시세), 은시세 정보 제공, 다이아몬드 매입, 전국 대리점 안내!www.soongumnara.co.kr 그러면 요소에 나 , 와 같이 꺽쇠 괄호로 감싸진 데이터가 보일 것입니다. 이렇게 꺽쇠 괄호로 가둔 형태의 무언가를 HTML 태그라고 합니다. 보통 웹 사이트는 이런 태그 안이나 태그 서버에 데이터를 입력해 구성합니다. 02 [..

<c:redirect> 태그를 이용한 실습

태그는 지정된 JSP 페이지로 리다이렉트할 때 사용합니다. response.sendRedirect() 기능과 동일하며 태그로 리다이렉트할 때 매개변수를 전달할 수 있습니다. 사용 형식은 다음과 같습니다. [ ] 여기서 url은 리다이렉트 될 URL이 저장될 변수를 지정합니다. 1. 태그를 이용해 회원 정보 출력 창으로 리다이렉트합니다. 리다이렉트하면서 회원 정보를 매개변수로 전달합니다. 2. http:localhost:8080/pro14/test03/redirectTest.jsp로 요청하면 test01/member1.jsp로 리다이렉트됩니다. 그러면서 매개변수로 전달한 회원 정보를 출력합니다.

종목별 시가총액 데이터 수집하기 - 데이터 정제하기

웹 환경에서 수집한 데이터는 정제가 필요합니다. 이런 작업에는 pandas 패키지를 사용하는 것이 적합합니다. 앞서 수집한 데이터는 header와 body가 키고, 각 키에 리스트 타입의 값이 짝지어진 딕셔너리 타입입니다. 딕셔너리를 pandas 패키지의 데이터프레임으로 변환하고 데이터프레임에서 불필요한 행과 열, 공백 문자를 삭제하겠습니다. 비주얼 스튜디오 코드에서 새로운 파일을 만들고, 파일 명을 'step_1_4.py'로 자정합니다. 다음 코드를 입력한 뒤 대화형 창에서 실행합니다. 앞서 수집한 데이터가 CSV 파일로 저장됩니다.import jsonfrom pathlib import Pathimport pandas as pdfrom step_1_1 import OUT_DIR # 이전에 작성한 모듈을..

실시간 경매 시스템 - 서버센트 이벤트 사용하기(2)

서버센트 이벤트는 한 가지 단점이 있습니다. IE나 엣지 브라우저에서 사용할 수 없다는 것입니다. EventSource라는 객체를 지원하지 않기 때문인데, 다행히 EventSource를 사용자가 직접 구현할 수 있습니다. IE나 엣지 브라우저를 위해 클라이언트 코드에 EventSource 폴리필(polyfill)을 넣었습니다. views/main.html{% extends 'layout.html' %} {% block content %} 경매 진행 목록 상품명 이미지 시작 가격 종료 시간 입장 {% for good in goods %} {{good.name}} {{good.p..

<c:url> 태그를 이용한 실습

테스트는 JSP 페이지에서 URL 정보를 저장하는 역할을 하며, 사용 형식은 다음과 같습니다. [] .. 여기서 var은 생성된 URL이 저장될 변수를, value는 생성한 URL을, scope는 scope 속성의 값을 지정합니다. 1. ulTest.jsp를 다음과 같이 작성합니다. 태그를 이용해 다른 페이지로 이동하면서 데이터를 전달합니다. 따라서 이동할 페이지로 전달할 데이터가 많을 경우에 사용하면 편리합니다. 회원정보출력 --%> 회원정보출력 2. http://localhost:8080/pro14/test03/urlTest.jsp로 요청한 후 회원정보출력을 클릭합니다. 3. 매개변수로 전달된 회원 정보를 출력합니다. (member1.jsp에서 ${속성}을 ${para..

메모 앱에 회원가입, 로그인, 로그아웃, 메모 저장 기능 더하기

v0에 접속하여 로그인하고 다음과 같이 요청해서 간단히 메모 앱을 만듭니다. 밝은 분위기의 메모 앱 화면을 만들어줘. 만든 메모 앱 화면 오른쪽 위의 · · · 버튼에 있는 [Download ZIP] 버튼을 눌러 다운로드 한 후 my-awesome-memoapp 폴더를 만든 후 폴더에 압축을 풉니다. 이제 커서가 작업할 수 있도록 my-awesome-memoapp 폴더를 엽니다.작업할 프로젝트 폴더가 가장 맨 위에 있는 상태에서 새 채팅창을 열고 다음과 같이 요청합니다. 현재 프로젝트에 데이터베이스를 추가하고 회원가입, 로그인, 로그아웃을 구현해줘. 커서는 아마 프리즈마라는 도구를 설치하여 데이터베이스와 프로젝트를 연결하는 설정을 하겠다고 할 겁니다. [Run]을 눌러 실행합니다. 프리즈마는 데이..

종목별 시가총액 데이터 수집하기 - 종목별 시가총액 데이터 수집하기(2)

시가총액 수집 함수playwirght 패키지의 녹화 기능을 사용해 생성한 코드와 개발자 도구의 검사 모드에서 추출한 HTML 태그를 바탕으로 시가총액을 구집하는 함수 parse_table_kospi()를 만들어 사용합니다.비주얼 스튜디오 코드에서 새로운 파일을 생성하고, 파일명을 'step_1_3.py'로 저장합니다. 다음 코드를 입력한 뒤 실행 아이콘을 클릭하여 실행합니다. 크로미움 웹 브라우저를 사용하여 네이버페이 증권에서 코스피 시가총액 데이터를 수집한 후, JSON 형식으로 저장합니다. ch07/step_1_3.pyimport jsonfrom pathlib import Pathfrom playwright.sync_api import Pagefrom step_1_1 import OUT_DIRfrom..

실시간 경매 시스템 만들기 - 서버센트 이벤트 사용하기(1)

플링이나 웹 소켓을 통해 서버 시간을 받아올 수도 있지만, 이번 예제에서는 서버센트 이벤트를 사용해 서버의 시간을 받아올 것입니다. 주기적으로 서버 시간을 조회하는 데 양방향 통신이 필요하지 않기 때문입니다.웹 소켓도 사용합니다. 웹 소켓은 경매를 진행하는 동안에 다른 사람이 참여하거나 입찰했을 때 모두에게 금액을 알리는 약할을 할 것입니다. 서버센트 이벤트와 웹 소켓은 같이 사용할 수 있습니다.SSE 패키지와 Socket.IO 패키지를 동시에 설치하겠습니다.$ npm i sse socket.io@2 서버와 sse, socket.io 모듈을 연결합니다. app.jsconst express = require("express");const path = require("path");const morgan = ..

<c:forEach> 태그를 이용한 실습

태그는 JSP 페이지에서 반복문을 수행하는 태그이며, 사용 형식은 다음과 같습니다. step="증가값" varStatus="반복상태변수이름"> ... 여기서 var는 반복할 변수 이름을, items는 반복할 변수 이름을, items는 반복할 객체 이름을 지정합니다. begin과 end는 각각 반복 시작 및 종료 값을 , step은 한 번 반복할 때마다 반복 변수를 증가시킬 값을, varStatus는 반복 상태 속성을 지정합니다. varStatus의 여러 가지 속성을 아래 표에 정리했습니다.속성값설명indexintitems에서 정의한 항목을 가리키는 index 번호입니다. 0부터 시작합니다.countint몇 번째 반복인지 나타냅니다. 1부터 시작합니다.firstb..