[ADsP] 메타코드 ADsP 2주 합격 올인원 패스 - 1과목 데이터의 이해(2)

안녕하세요.

빅데이터, AI 강의 플랫폼 메타코드M에서 제공하는

< 2024 ADsP 2주 합격 올인원 패스 [비전공자 맞춤] > 를 수강하였습니다.

2024 ADsP 2주 합격 올인원 패스 [ 비전공자 맞춤형 ] (이미지 클릭 시 강의 링크로 이동합니다.)

 

ADsP 에 대한 자세한 정보가 궁금하세요?

• ADsP(데이터분석 준전문가) 자격증 소개, 강의 소개, https://zzz0x0lxx.tistory.com/15
• 데이터분석 준전문가 자격안내, 한국데이터산업진흥원(Kdata), https://www.dataq.or.kr/www/sub/a_06.do#none

 

---

1. 개요

 

[ 목표 ]

01

이 포스트는 제1과목 - <데이터의 가치와 미래> 와

<가치 창조를 위한 데이터 사이언스와 전략 인사이트>

에 해당하는 내용을 강의를 기반으로 정리합니다.

 

02

포스트한 내용을 출력해서 가져가도 될 정도의

시험 대비용 진짜 ! 핵심 ! 내용! 만 정리하려 합니다.

 

---

2. 데이터의 가치와 미래

빅데이터의 이해

• 빅데이터란?  큰 양, 복잡한 구조의 데이터 / 기존의 방법론, 툴로는 처리하기 힘든 데이터

빅데이터의 특징 (3V)

• 양(volume)
• 다양성(variety)
• 속도(velocity)
• + 가치(value)

 

빅데이터의 비유 (빈출!)

• 산업혁명의 철
• 21세기의 원유
• 렌즈, 현미경 등 예) 구글의 Ngram
• 플랫폼 예) SNS, 메신저

 

빅데이터로 인한 변화

• 사전처리 → 사후처리
• 표본조사 → 전수조사
• 질(Quality) → 양(Quantity)
• 인과관계 → 상관관계

 

빅데이터 테크닉 → 3과목에서 더 자세히 정리

• 유전 알고리즘
  • 메타 휴리스틱 알고리즘 (최적의 경로 찾기) 의 일부
• 회귀분석
  • 주택 거래량(독립변수) - 주택 가격(종속변수)

 

 

빅데이터의 위기 요인과 통제 방안

• 사생활 침해
  • SNS 데이터를 통한 주거 침입
  • 동의에서 책임으로: 데이터 사용자의 책임을 강조

• 책임원칙 훼손
  • 범죄 예측 프로그램
  • 결과 기반 책임원칙 고수
• 데이터 오용
  • 알고리즘의 예측 / 분석이 잘못될 수 있음
  • 알고리즘 접근 허용, 알고리즈미스트(알고리즘이나 도메인에 대한 진단을 하는 직업)

 

 

빅데이터 활용의 3요소

• 데이터
  • 모든 것을 데이터화
  • 데이터 양의 증가
• 기술
  • 데이터 처리 기술
  • 데이터 기반 알고리즘의 성장
• 인력
  • 데이터 사이언티스트
  • 알고리즈미스트

 

 

---

3. 가치창조를 위한 데이터 사이언스와 전략 인사이트

일차원 분석

• 일차원 분석의 예시

• 일차원 분석의 문제점
  • 환경 변화를 파악하고 대응하기 어려움
  • 새로운 기회를 포착하기 어려움
  • 일차원적 분석을 통해 분석 경험 / 역량을 쌓고 분석의 범위를 넓혀가며 인사이트를 주는 가치기반의 분석단계로 발전해야 함

 

데이터 사이언스

• 데이터 사이언스 의미와 역할
  • 데이터 사이언스란?  수학, 통계학, 컴퓨터공학, 데이터 분석 역량, 분석 영역의 전문지식을 종합한 학문
  • 데이터 시각화 과정까지 포함 ( 데이터를 분석하고 효과적으로 전달하는 과정 )
• 데이터 사이언스 구성요소
  • 분석(Analytics): 수학, 통계학(확률론), 기계학습, 모델링
  • IT: 프로그래밍, 데이터 엔지니어링, 클라우드 컴퓨팅
  • 비즈니스 컨설팅: 커뮤니케이션, 프레젠테이션, 스토리텔링, 시각화

 

기타 주요 개념

(1) DBMS ( DataBase Management System )

• 계층형: top-down
• 네트워크형: 데이터를 그래프 형태(행렬)로 저장
• 관계형: 테이블 간 관계를 이용하여 데이터 저장 / 관리
• 객체지향: 객체 속성과 메소드를 저장 / 관리
• NoSQL: 비관계형 데이터베이스, 대용량의 분산 데이터를 처리하고 확장성을 갖추기 위해 설계된 시스템 예) MongoDB, Cassandra

 

(2) 개인정보 비식별 기술

• 민감한 개인정보를 식별 불가능한 형태로 변환하는 기술
  • 데이터 마스킹
  • 가명처리
  • 데이터 범주화
  • 총계처리
  • 데이터 값 삭제

 

(3)  블록체인

• 데이터를 안전하게 기록하고 공유하기 위한 분산형 데이터베이스 기술
• 분산된 네트워크에 연결된 여러 노드에 거래 정보를 분산하여 저장하고, 이를 블록이라는 체인 형태로 연결해 안전하게 보관
• 특징
  • 분산형 데이터 저장: 데이터를 여러 노드에 분산 및 동기화
  • 불변성과 보안: 데이터는 수정이 불가능하며 암호화
  • 탈중앙화: 중앙 관리자 없이 참여자들 간의 합의를 통해 데이터를 검증하고 관리
  • 투명성과 신뢰성: 모든 거래 내역은 공개되어 있으며, 이를 통해 신뢰성을 유지하고 변조가 어려운 거래 기록을 가짐