전체 글

[mac] 포트 죽이기

스프링 부트를 공부하다가, 8080포트가 이미 사용중이라는 오류 창을 보았다. "Web server failed to start. Port 8080 was already in use." 이에 대한 해결로, 이미 돌아가고 있는 8080 포트를 삭제하고, 다시 재시작을 하고자 하였다. 1. 먼저, 해당 포트 번호에 대한 상황을 보자 lsof -i :portnum 이 명령어로, 사용중인 PID를 알 수 있다. 2. 해당 포트 번호를 삭제하자 kill -9 portnum 3. 다시 그 포트가 사용중인지 확인하고 아무창이 안뜬다면, 성공적으로 적용된 것이다.

SQL JOIN 시 포맷

SELECT FROM JOIN ON WHERE ORDER BY 예1] SELECT A.NAME, A.ID FROM USERINFO AS A JOIN USERLIKE AS B ON A.ID=B.ID WHERE __________ ORDER BY A.ID

220604 TIL : 빅데이터를 지탱하는 기술 CH3

3-1 구조화 데이터와 비구조화 데이터 스키마 : 테이블의 칼럼 명과 데이터형, 테이블 간의 관계 구조화된 데이터 : 스키마가 명확하게 정의된 데이터 비구조화 데이터 : 자연 언어로 작성된 텍스트 데이터, 이미지, 동영상 등의 미디어 데이터, SQL로 제대로 집계할 수 없다. 데이터 레이크 : 비구조화 데이터를 분산 스토리지 등에 저장하고 이것을 분산 시스템에서 처리한다 스키마리스 데이터 : 서식은 정해져 있지만, 칼럼 수나 데이터형은 명확하지 않은 데이터 CSV, JSON, XML 등의 예가 있다. 데이터 구조화의 파이프 라인 : 데이터 소스 -> 비구조화 데이터/스키마리스 데이터 -> 구조화 데이터 구조화 데이터는 항상 열 지향 스토리지에 보관한다. 팩트 테이블 : 시간에 따라 증가하는 데이터 디멘전..

220603 TIL : 빅데이터를 지탱하는 기술 CH2

2-1 크로스 집계의 기본 크로스 테이블 : 행과 열이 교차하는 부분에 숫자 데이터가 들어가는 테이블, 예로 엑셀 등의 스프레드시트가 있다. 1월 1일 1월 2일 1월 3일 1월 4일 1월 5일 상품 A 4개 5 6 7 7 상품 B 3개 3 4 4 4 트랜잭션 테이블 : 행 방향으로만 데이터가 증가하고, 열 방향으로는 데이터라 증가하지 않는다. 날짜 상품명 개수 1월 1일 A 4 1월 2일 B 3 크로스 집계 : 트랜잭션 테이블에서 크로스 테이블로 변환하는 과정. 피벗 테이블 : 소량의 데이터를 크로스 집계하는데 편리한 것이 스프레드 시트의 피벗 테이블 스크립트로 크로스 집계를 실행하고자 한다면, pandas를 이용해서 두 개의 테이블을 결합하려면 merge()를 실행한다. 데이터를 집계해서 시각화 하는..

파이썬에서 is와 ==의 차이점

https://codechacha.com/ko/python-difference-between-is-and-equals/ Python - 'is'와 '=='의 차이점 파이썬에서 `is`와 `==`는 조건문에서 두개의 변수가 같은지 체크할 때 자주 사용하는데 차이점이 있습니다. `is`는 변수의 Object(객체)가 같을 때 True를 리턴, `==`는 변수의 Value(값)이 같을 때 True를 codechacha.com

220602 TIL : 빅데이터를 지탱하는 기술 CH1

1-1 [배경] 빅데이터의 정착 하둡(Hadoop) : 다수의 컴퓨터에서 대량의 데이터를 처리하기 위한 시스템 SQL과 같은 쿼리 언어를 하둡에서 처리하기 위한 소프트웨어로 하이브(Hive)가 개발되었다. 데이터 웨어 하우스 : 데이터 분석을 기반으로 하는 분산 시스템 구축 EX] 업무 시스템 -> RDB -> Hadoop -> 데이터 웨어 하우스 의 과정을 통해 데이터 웨어하우스의 부하를 줄인다. 1-2 빅데이터 시대의 데이터 분석 기반 데이터 파이프 라인 : 일반적으로 차례대로 전달해나가는 데이터로 구성된 시스템 데이터 전송 벌크형 : 이미 존재하는 데이터를 정리해 추출하는 방법, 정기적으로 데이터를 수집하는데 사용한다. 스트리밍형 : 차례대로 생성되는 데이터를 끊임없이 계속 보내는 방법, 모바일 애..