본문 바로가기
728x90

전체 글431

Udemy - 딥러닝의 모든 것(볼츠만 머신) - (2) 대조발산 볼츠만 머신의 학습 방법 중 하나인 대조발산(Contrastive Divergence, CD)은 볼츠만 머신을 효율적으로 학습시키는 방법 중 하나이다. 볼츠만 머신은 에너지 기반 모델로, 시스템의 에너지를 최소화하는 방향으로 학습을 진행한다. 대조발산은 이러한 볼츠만 머신의 학습 과정을 단순화하고 가속화하기 위해 고안된 방법이다. 기본 원리를 보자면 대조발산은 데이터의 분포와 모델의 분포 사이의 차이를 최소화하는 방향으로 모델의 매개변수를 조정한다. 이 과정은 두 단계로 이루어진다. Positive phase: 실제 훈련 데이터를 사용하여 네트워크의 은닉 노드를 활성화시키고, 이를 기반으로 네트워크의 에너지를 계산한다. Negative phase: 네트워크가 생성한 샘플(모델 분포에 의해 생성된.. 2024. 1. 7.
Udemy - 딥러닝의 모든 것(볼츠만 머신) - (1) The Boltzmann Machines 이전까지 다룬 ANN, CNN, RNN, SOM등은 모두 방향성이 있는 모델이라는 점에서 공통점이 있다. 이때 볼츠만 머신은 아래와 같이 방향성이 없다는 점에서 궤를 달리한다. 모든 연결성이 양방향으로 전달될 수 있기에 화살표로 표시되어있지 않은 것을 볼 수 있다. 입력노드를 파란색, 은닉노드를 붉은색으로 나타내면 아래와 같다. 이때 출력층이 없다는 특징을 볼 수 있다. 인공신경망에서 결과를 내보내는 출력층이 없다는 것은 굉장히 특징적인 내용이다. 또한 모든 노드가 전부 연결되어있어 특정한 층이라는 것이 존재하지 않는다. 마지막으로 모든 연결이 양방향성을 갖는다. 위의 세가지 특징이 볼츠만 머신을 특별하게 만드는 요소이다. 볼츠만 머신은 입력을 통해 결과를 예측한.. 2024. 1. 5.
Udemy - 딥러닝의 모든 것(SOM)-(2) 간단한 예시 SOM의 개념에 대해서 공부한 글에서 살펴봤듯 자기 조직화 지도(SOM) 방식은 각 포인트들이 범위를 설정하여 주변 노드들을 끌어당겨 각각에 맞는 노드들을 갖게 되어 특정한 topology를 그려내는 것이다. weight를 어떻게 잡느냐에 따라 위와 같이 색별로 모여서 map을 완성하는 것을 볼 수 있다. Advanced SOM 아래 사진은 미국 국회의원들의 각 이슈에 대한 투표 결과를 통해 자기 조직화 지도를 그린 모습이다. 실제 정당별 의원은 세번째 사진에 나타나있다. 첫번째 'Clusters' 사진은 오직 두개의 부류만 있다고 했을때 어떻게 분류했는지 그 결과를 나타내는 것이다. 두번째 'Unified Distance Matrix'에서는 밝을 수록 unit끼리 가깝다는 뜻이므로 실제와 .. 2024. 1. 3.
DCC 수상 후기 수상 후기 정말 많은 내용을 공부하고 준비했지만 5분이라는 제한된 발표시간에 끝내야했기에 ppt의 내용은 너무나 부족한것이 아쉽다.. PPT 내용 일부를 공유해보고자한다. 똑같은 진흥원 원장상이니 크게 연연하지 않으려했지만 여전히 왜 우수상이었는지 의문과 아쉬움이 크다. 팀원끼리는 한두팀말고는 경쟁상대가 없다며 최소 최우수라고 생각했는데 단순히 연구성과나 디벨롭 정도만으로 결과가 나오는 것은 아니니 인정하고 이 분함을 품고 나아가려고 한다. 다음 대회에서는 기대와 일치하는 성적을 거두길바라며 아쉬움을 달래보게 되는 대회였다. 2023. 12. 11.
Big data Big data 빅 데이터란 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트)의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 집합조차 포함한 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다. 즉, 데이터 베이스 등 기존의 데이터 처리 응용 소프트웨어(data-processing application software)로는 수집 · 저장 · 분석 · 처리하기 어려울 정도로 방대한 양의 데이터를 의미한다. 빅데이터의 특징은 아래의 3Vs로 설명이 되었었다. - Volume: 데이터의 크기 - Velocity: 데이터의 생성/처리 속도 - Variety: 데이터의 다양성 (Structured, Semi-structured, Unstructured) 최근들어 5Vs까지 확장되.. 2023. 12. 6.
Wireless network Elements 아래와 같이 무선 네트워크가 존재할때 host는 access point 즉 AP라고 불린다. 이때 base station은 network와 직접 연결된 AP들에게 네트워크를 중계해주는 역할을 한다. 무선 네트워크는 유선 네트워크보다 불안정하기 때문에 back-bone network로 자주 쓰이진 않지만 가능은하다. 아래와 같이 거리와 data rate별로 네트워크가 존재한다. 802.11은 Wi-Fi의 네트워크이고 802.15는 WPAN의 네트워크이다. 802.11a처럼 Wi-Fi 안테나로 건물 옥상끼리 연결하여 중장거리 네트워크를 구성할 수도 있다. Infrastructure mode에서는 base station을 기준으로 한 AP가 다른 network range로 이동하고 있다. ha.. 2023. 12. 1.
ARP MAC address and ARP 32비트 IP 주소는 인터페이스의 네트워크 레이어 주소를 의미하고 네트워크 레이어 포워딩에 사용된다. 이에 반해 MAC, LAN, physical 또는 Ehthernet 주소등 다양한 이름으로 불리는 이 주소는 로컬에서 사용되며, 하나의 인터페이스로부터 물리적으로 연결된 다른 인터페이스( IP 주소 체계에서 같은 네트워크)로 프레임을 전송하는 데 사용된다. 대부분의 LAN에서 사용되는 MAC 주소는 48비트이며, NIC(Network Interface Controller)의 ROM(Read-Only Memory)에 기록되어 있으며, 때때로 소프트웨어로 설정이 가능하다. 예시로 1A-2F-BB-76-09-AD와 같은 주소가 나타내며, 이는 16진수(기수 16) 표기법을 .. 2023. 11. 29.
NoSQL NoSQL NoSQL은 Not only SQL이라고 불리는 비관계형 데이터베이스 유형이다. 전통적인 RDBMS는 관계형 데이터 모델이고 ERD를 이용하고 쿼리문을 통해 명령어를 입력한다. 그 외에도 스키마, 정규화, 데이터 무결성, 트랜잭션, ACID, Concurrency control, 2PLP, MVCC등의 다양한 특징이 있다. 그러나 전통적 DBMS에는 몇몇 문제가 존재한다. - Scalability: 오라클을 10,000대에 설치/관리할 수 있나?? - Performance: 오라클에서 초당 만건 이상의 변경을 처리할 수 있나? - Schema: 정형화된 스키마가 없으면? - Reliability는 필요 없으니 더 빠를 수는 없나? - Persistent는 필요 없으니 더 쉬울 수는 없나? - .. 2023. 11. 28.
Multiple Access Protocols Multiple access links Link에는 두가지 종류가 존재한다. 1. 포인트 투 포인트(point-to-point) PPP(Point-to-Point Protocol)는 다이얼업 접속에 사용된다. 이더넷 스위치와 호스트 사이의 포인트 투 포인트 링크를 의미한다. 2. 브로드캐스트(broadcast, 공유 와이어 또는 매체) 오래된 방식의 이더넷(Ethernet)을 말한다. 상향 HFC(Hybrid Fiber-Coaxial)를 포함한다. 802.11 무선 LAN(Wireless Local Area Network)을 나타낸다. 이러한 Multiple access protocol에서 node가 두개 이상의 signal들을 동시에 받게되면 collision이 발생하므로 이를 방지하는 것이 중요하다... 2023. 11. 23.
Concurrency Control Concurrency Control DB는 여러 사용자가 접근할 수 있다. 동시 공용(Concurrent Sharing)의 이점은 공용도(sharability)의 증가, 응답 시간(response time)의 단축, 시스템 활용도(system utilization) 증대와 같은 점들이 있다. 위와 같이 serial schedule보다 병행 실행일때 효율적이다. 그러나 병행실행을 control하지 못하고 그저 실행하기만 하면 아래와 같은 문제가 발생하여 Concurrency Control이 필요하다. Dirty read문제는 commit되지 않은 데이터를 읽을때 발생하는 문제로 아래와 같은 경우가 있다. A와 B가 각각 5와 3이라면 T1에서는 A와 B가 각각 10과 6으로 바뀌었지만 해당사실을 알지 못하.. 2023. 11. 23.
Link Layer Link Layer 이제 network layer 밑에 존재하는 link layer에 대해서 알아보자. 아래 그림에서 볼 수 있듯이 link layer는 모든 네트워크 기기에 구현되어있는 계층이다. Link layer는 간헐적으로 detection과 correction을 진행하는데 이는 말그대로 간헐적인 correction이지100% 보장하는 것이 아니다. 또한 broadcast 채널을 나눠서 이용하는 multiple access 기능도 지원한다. 한 switch에 걸려있는 host들에 대해서 IP를 추적해서 네트워킹을 해줄 논리 주소 관리 능력이 switch에는 없기 때문에 새로운 주소가 필요한데 이것이 MAC address이다. Link layer는 대부분 위와 같이 Hardware에 구현되어있다. .. 2023. 11. 21.
Transaction Transaction Processing 데이터의 공유와 다수 사용자를 관리하기 위한 기능을 트랜잭션 처리라고 한다. 여러 사용자가 동시에 동일한 데이터베이스 공유 가능하도록 지원하는 것이다. 동시에 사용하더라도 일관성(consistency)을 보장하기 위한 동시성 제어 (concurrency control) 기능을 제공한다. 이때 트랜잭션 자체는 DB 작업을 수행하는 단위 프로세스를 의미한다. 트랜잭션의 주요 성질은 Jim Gray가 정의한 ACID로 정리된다. • 원자성(Atomicity) : 트랜잭션과 관련된 작업들이 부분적으로 실행되다가 중단되지 않는 것을 보장하는 능력이다. • 일관성(Consistency) : 트랜잭션이 실행을 성공적으로 완료하면 언제나 일관성 있는 데이터 베이스 상태로 유지하.. 2023. 11. 21.
728x90

티스토리툴바