yunki Kim Blog

「Do What You Love」

레디스를 캐시로 사용하기

가용성은 일정 기간 동안 서비스를 정상적으로 사용할 수 있는 시간의 비율이다. 레디스는 고가용성을 위해 두 가지 기능이 필요하다. 복제: 마스터 노드 데이터를 복제본 노드로 실시간 복사한다. 자동 fail-over: 마스터 노드에 장애 발생 시 자동감지해 클라이언트 연결을 복제본 노드로 리다이렉트한다. ...

레디스 데이터 백업 방법

레디스는 데이터를 메모리로 관리해서 인스턴스 재시작 시 데이터가 손실될 수 있다. 복제는 인스턴스 재시작에 따른 손실은 막을 수 있으나 의도치 않은 데이터 삭제 등은 막지 못한다. 레디스는 RDB, AOF 두 가지 백업 방식을 지원한다. RDB(Redis DataBase): 일정 시점에 메...

레디스를 캐시로 사용하기

1. 레디스와 캐시 1.1 캐시란? 캐시는 데이터 원본보다 빠르고 효율적으로 액세스 할 수 있는 임시 데이터이다. 캐시 사용을 통해 성능을 향상할 수 있는 경우 원본 데이터를 찾기 위한 시간이 오래 걸리는 경우, 매번 계산이 필요한 경우 캐시에서 데이터를 가져오는 것이 원본 조회보다 빠른 경우 캐시...

레디스 자료구조

레디스는 키-값 형태 저장소이다. 저장된 데이터 검색은 키를 식별자로 한다. 1. 레디스의 자료구조 1.1 String 레디스에서 가장 간단한 자료구조다. 문자열 하나는 최대 512MB 이다. biary-safe해서 바이트값을 저장할 수 있다. 키-값이 1:1인 유일한 자료구조다. 명령어 1 2 3 4 5 6 7 8 9 10...

쿠버네티스 오브젝트

쿠버네티스는 대부분의 리소스를 ‘오브젝트’라는 형태로 관리한다. 대표적인 오브젝트로는 pod, replicaset이 있다. 오브젝트 목록은 터미널에서 ‘kubectl api-resources’ 커멘드로 확인 가능하다. 쿠버네티스는 대부분의 리소스를 YAML 파일로 관리할 수 있다. 쿠버네티스는 여러 개의 컴포넌트로 구성돼 있다. 쿠버네티스 노드는 ...

OpenId Provier 구축 공부 - 4편 (SSO -Single Sign On)

OpenId Provier 구축 공부 - 1편 (OAuth 2.0) OpenId Provier 구축 공부 - 2편 (OAuth 토큰 보안 취약점) OpenId Provier 구축 공부 - 3편 (OAuth2.0에서 사용자 인증) 회사에서 자회사와 본사가 각자 제공하는 여러 서비스들의 회원 시스템을 통합한 통합 회원플랫폼을 구축하고 있다...

OpenId Provier 구축 공부 - 3편 (OAuth2.0에서 사용자 인증)

OpenId Provier 구축 공부 - 1편 (OAuth 2.0) OpenId Provier 구축 공부 - 2편 (OAuth 토큰 보안 취약점) OAuth 2.0은 인증된 사용자 동의를 수집하는 데 사용되고, 처리 절차에서 여러 인증 이벤트를 포함한다. 때문에 일부 개발자들은 OAuth 2.0을 인증 프로토콜이라 생각한다. 하지만 OAu...

OpenId Provier 구축 공부 - 2편 (OAuth 토큰 보안 취약점)

OpenId Provier 구축 공부 - 1편 (OAuth 2.0) OpenId Provier 구축 공부 - 3편 (OAuth2.0에서 사용자 인증) 1. OAuth 토큰 보안 취약점 1.1 Bearer Token OAuth 2.0에서는 Bearer token을 보안 장치로 정의하고 있다. 이 토큰을 가진 사람이라면, 누구나 토큰을 사...

OpenId Provier 구축 공부 - 1편 (OAuth 2.0)

OpenId Provier 구축 공부 - 2편 (OAuth 2.0) OpenId Provier 구축 공부 - 3편 (OAuth2.0에서 사용자 인증) 현재 회사에서 통합회원플랫폼에서 인증/인가 서버 구축을 담당하면서 기존에 간단한 개념만 알고 있었던 인증/인가와 관련된 지식들을 제대로 공부할 기회가 생겼다. 공부한 내용들을 정리해보고자 한...

6. 다양한 데이터 타입 다루기

스파크 구조적 연산에서 표현식을 만드는 방법을 알아보자. 1. API는 어디서 찾을까 데이터 변환용 함수는 다음과 같은 곳에서 찾을 수 있다. DataFrame 메서드 DataFrameStateFunctions, DataFrameNaFunctions 등 Dataset 하위 모듈이 다양한 메서드를 제공한다. DataFram...