Pang`s

 예전에는 운영체제가 디스크 드라이브를 여러 개의 연속적인 디스크 블록의 집합으로 봤다. 디스크 드라이브 전체가 파일 시스템에 할당되거나, OS나 애플리케이션에서 사용하는 다른 엔티티에 할당됐다. 이런 방법의 단점은 유연성이 없다는 것이다. 디스크 드라이브의 공간이 부족해도 파일 시스템의 크기를 증가시킬 방법이 없었다. 또한 스토리지 용량이 증가하면서 전체 디스크 드라이브를 파일 시스템에 전부 할당하면 스토리지 용량의 활용도를 낮추는 결과를 초래했다.

 논리적 볼륨 매니저(LVM, Logical Volume Manager)로 인해 파일 시스템 용량을 동적으로 확장할 수 있고 효율적으로 스토리지를 관리할 수 있게 됐다. LVM은 컴퓨트 시스템에서 동작하는 소프트웨어로 논리적, 물리적 스토리지를 관리한다. LVM은 파일 시스템과 물리 디스크의 중간에 있는 레이어다. 디스크를 좀 더 작은 가상 볼륨으로 파티션하거나(파티셔닝partitioning이라고 함) 작은 디스크를 합쳐 큰 가상 볼륨(컨캐터네이션concatenation이라고 함)을 만들 수 있다.

 디스크 파티셔닝(disk partitioning)은 디스크 드라이브의 유연성과 활용도를 높여준다. 디스크 드라이브는 논리적 볼륨(LV, logical vlume)이라고 하는 논리적 저장소로 나뉜다. 예를 들어 큰 물리 드라이브를 파일 시스템과 애플리케이션의 요구사항에 따라 여러 개의 LV로 파티셔닝할 수 있다. 디스크 드라이브를 호스트에 처음 설치할 때, 여러 실린더를 그룹화해 파티션을 만든다. 호스트 파일 시스템은 파티셔닝과 디스크의 물리적 구조를 모르는 상태에서 논리 볼륨에 액세스한다.

 컨캐터네이션은 여러 물리 드라이브를 그룹화해 하나의 논리 볼륨으로 만드는 것이다.

 LVM은 최적화된 스토리지 액세스를 제공하며, 스토리지 리소스 관리를 간편히 해준다. 물리적 디스크나 디스크에서의 데이터 위치 같은 세부 사항을 사용자는 몰라도 된다.

 기본 LVM은 물리적 볼륨과 볼륨 그룹, 논리적 볼륨으로 구성된다. LVM에서 호스트 시스템에 연결된 각 물리 디스크를 물리적 볼륨(PV, physical volume)이라고 한다. LVM은 물리적 볼륨이 제공하는 물리적 스토리지를 OS나 애플리케이션이 사용하는 논리적인 뷰로 변환한다. 볼륨 그룹(volume group)은 1개 이상의 물리 볼륨은 그룹화해 만든다. 각 볼륨을 초기화할 때 LVM이 사용할 고유 물리적 볼륨 아이디(PVID, physical volume identifier)를 할당한다. 볼륨 그룹에 동적으로 물리적 볼륨을 추가하거나 삭제할 수 있다. 하나의 물리적 볼륨을 여러 볼륨 그룹 간에 공유할 수는 없다. 이는 볼륨 그룹에는 1개의 물리적 볼륨 전체가 포함돼야 함을 의미한다. 각 볼륨 그룹을 만들 대는 물리적 익스텐트(physical extent)라 불리는 같은 크기의 데이터 블록 집합으로 파티셔닝한다.

 논리적 볼륨은 주어진 볼륨 그룹에서 만들어진다. 논리적 볼륨은 디스크 파티션으로 생각할 수 있으며, 볼륨 그룹 자체는 디스크로 볼 수 있다. 볼륨 그룹은 여러 개의 논리적 볼륨을 가질 수 있다. 논리적 볼류믜 크기는 물리적 익스텐트 크기의 배수가 된다.

 논리적 볼륨은 OS에게 물리적 디바이스로 인식된다. 논리적 볼륨은 비연속적인 물리적 익스텐트로 구성되며, 여러 물리적 볼륨에 걸쳐 있을 수 있다. 파일 시스템은 논리적 볼륨에 대해 만든다. 이 논리적 볼륨이 애플리케이션에 할당된다. 논리적 볼륨은 데이터 가용성을 높이기 위해 복제될 수 있다.

 파일(file)은 관련 레코드의 집합 또는, 이름을 가진 단위로 저장된 데이터를 말한다. 파일 시스템(file system)은 파일의 계층 구조다. 파일 시스템은 디스크 드라이브나 디스크 파티션, 논리적 볼륨에 저장된 데이터 파일에 액세스할 수 있게 한다. 파일 시스템은 논리적 구조와 파일 액세스를 조정하는 소프트웨어 루틴으로 구성된다. 파일 시스템을 이용해 사용자는 파일을 만들고 수정, 삭제할 수 있으며 파일에 액세스한다. 디스크의 파일에 대한 앣스는 소유자가 지정한 권한에 따라 제어되며, 이는 파일 시스템이 관리한다.

 파일 시스템은 데이터를 디렉토리를 이용해 계층 구조로 관리한다. 디렉토리는 여러 파일에 대한 포인터를 저장하는 컨테이너다. 모든 파일 시스템은 디렉토리와 서브디렉토리, 파일에 대한 포인터 맵을 관리한다. 유명한 파일 시스템의 예는 다음과 같다.

- 마이크로소프트 윈도우의 FAT 32(파일 할당 테이블 File Allocation Table)

- 마이크로소프트 윈도우의 NT 파일 시스템(NTFS)

- 유닉스의 UNIX 파일 시스템(UFS)

- 리눅스의 확장 파일 시스템(EXT2/3)

 파일과 디렉토리 외에 파일 시스템은 메타데이터(metadata)라는 관련 정보를 관리한다. 예를 들어 유닉스에서는 슈퍼블록(superblock)과 아이노드(inode), 사용 가능한 블록의 리스트 및 사용 중인 블록의 리스트를 관리한다. 파일 시스템 메타데이터의 정합성이 맞아야 파일 시스템에 문제가 없다고 간주한다.

 슈퍼블록은 파일 시스템 유형과 생성 및 수정 날짜, 크기, 레이아웃 같은 파일 시스템의 주요 정보를 저장한다. 또한 사용 가능한 리소스(프리 블록 개수, 아이노드 등)의 개수와 파일 시스템의 마운트 상황을 알려주는 플래그를 포함한다. 아이노드는 모든 파일과 디렉토리에 대해 만들어지며 파일 길이와 소유권, 액세스 권한, 최근 액세스/수정 시간, 링크 개수, 데이터 주소 등의 정보를 저장한다.

 데이터베이스는 논리적으로 조직된 서로 연관된 테이블에 데이터를 구조적으로 저장하기 위한 방법이다. 데이터베이스는 데이터 저장과 검색을 최적화하는 데 도움을 준다. DBMS는 데이터베이스의 생성과 관리, 사용을 제어한다. DBMS는 애플리케이션의 데이터 요청을 처리하고 운영체제에 스토리지로부터 데이터를 가져오도록 지시한다.

 사용자는 애플리케이션을 통해 데이터를 저장하고 추출한다. 애플리케이션을 실행하는 컴퓨터를 호스트(host) 또는 컴퓨트 시스템(compute system)이라 한다. 호스트는 물리적 머신 혹은 가상 머신일 수도 있다. 컴퓨트 가상화 소프트웨어는 물리적인 컴퓨트 인프라스트럭처를 기반으로 가상 머신을 만든다. 물리적 호스트의 예로는 데스크톱 컴퓨터나 서버, 서버 클러스터, 랩톱, 모바일 디바이스가 있다. 호스트는 CPU와 메모리, I/O 디바이스, 컴퓨팅 연산을 수행하는 여러 소프트웨어로 구성된다. 소프트웨어에는 운영체제와 파일 시스템, 논리적 볼륨 매니저, 디바이스 드라이버 등이 있다. 이런 소프트웨어는 운영체제의 일부 또는 별개의 엔티티로 설치될 수도 있다.

 CPU는 산술 논리 장치(ALU, Arithmetic Logic Unit)와 제어 장치, 레지스터, L1 캐시라는 네 가지 컴포넌트로 구성된다. 호스트의 메모리는 랜덤 액세스 메모리(RAM, Random Access Memory)와 읽기 전용 메모리(ROM, Read-Only Memory), 두 종류가 있다. I/O 디바이스는 호스트와의 통신을 담당한다. I/O 장치의 예로는 키보드와 마우스, 모니터 등이 있다.

 소프트웨어는 호스트에서 실행되며, 데이터 입/출력을 담당한다.

 전통적인 컴퓨팅 환경에서는 운영체제(operating system)가 컴퓨팅의 모든 것을 제어했다. 운영체제는 애플리케이션과 컴퓨트 시스템의 물리적 컴포넌트 사이의 작업을 담당했다. 애플리케이션에 제공되는 서비스 중 하나는 데이터 액세스다. 운영체제는 사용자의 활동과 환경을 모니터링하고 이에 대한 처리를 담당한다. 하드웨어 컴포넌트를 조직하고 제어하며, 하드웨어 리소스의 할당을 관리한다. 관리하는 모든 리소스의 액세스와 사용에 대한 기본적인 보안을 제공한다. 운영체제는 기본적인 스토리지 관리도 수행하며 파일 시스템과 볼륨 매니저, 디바이스 드라이버도 관리한다.

 가상 컴퓨트 환경에서는 운영체제와 하드웨어 리소스 사이에 가상 레이어가 동작한다. 여기서 OS의 역할은 컴퓨트 가상화의 구현에 따라 달라진다. 일반적인 경우 OS는 게스트로 동작하며 애플리케이션과의 상호작용 관련 역할만 수행한다. 이때 하드웨어 관리 기능은 가상화 레이어에서 수행한다.

 메모리는 지금까지도 그랬지만 앞으로도 호스트에서 비용이 높은 컴포넌트일 것이다. 메모리는 호스트에서 실행할 수 있는 애플리케이션의 크기와 개수를 결정한다. 메모리 가상화(memory virtualization)를 이용해, 총 메모리 요구량이 실제 사용 가능한 물리적 메모리보다 많은 애플리케이션과 프로세스를 서로 영향을 주지 않고 실행할 수 있다.

 메모리 가상화는 호스트의 물리적 메모리(RAM)를 가상화해주는 운영체제의 기능이다. 이 기능은 컴퓨트 시스템의 물리적 메모리 공간보다 큰 주소 영역을 가진 가상 메모리를 만든다. 가상 메모리는 물리적 메모리의 주소 공간과 디스크 스토리지의 일부 영역을 함께 사용한다. 가상 메모리를 관리하는 운영체제 유틸리티를 가상 메모리 관리자(VMM, virtual memory manager)라고 한다. VMM은 가상 메모리에서 물리 메모리로의 매핑을 관리하고, 프로세스가 디스크 스토리지에 있는 데이터의 가상 주소를 참조할 때 디스크 스토리지에서 데이터를 가져온다. VMM이 사용하는 디스크 영역을 스왑 공간이라고 한다. 스왑 공간(swap space [또는 페이지 파일이나 스왑 파일이라고도 함])은 운영체제가 물리 메모리처럼 취급하는 디스크 드라이브의 일부 영역이다.

 가상 메모리는 시스템 메모리를 지정한 크기의 페이지로 구성된 연속된 블록으로 나눈다. 페이징(paging)이라고 하는 프로세스는 비활성 물리 메모리 페이지를 스왑 파일로 옮기고, 필요할 때 이 페이지를 다시 물리 메모리로 읽어 들인다. 이렇게 해 사용 가능한 물리 메모리를 여러 애플리케이션이 효율적으로 사용할 수 있다. 운영체제는 가장 적게 사용된 페이지를 스왑파일에 옮겨 좀 더 활발한 프로세스가 메모리를 충분히 사용할 수 있게 한다. 스왑 파일 페이지는 물리 메모리보다 느린 디스크에 할당됐기 때문에, 스왑 파일 페이지에 액세스하는 것은 물리 메모리 페이지에 대한 액세스보다 느리다.

 디바이스 드라이버(device driver)는 운영체제가 프린터나 마우스, 디스크 드라이버 같은 디바이스와 상호작용할 수 있게 하는 소프트웨어를 말한다. 디바이스 드라이버를 통해 운영체제는 디바이스를 인식하며, 디바이스를 액세스하고 제어한다. 디바이스 드라이버는 하드웨어와 운영체제에 따라 달라진다.

 예전에는 운영체제가 디스크 드라이브를 여러 개의 연속적인 디스크 블록의 집합으로 봤다. 디스크 드라이브 전체가 파일 시스템에 할당되거나, OS나 애플리케이션에서 사용하는 다른 엔티티에 할당됐다. 이런 방법의 단점은 유연성이 없다는 것이다. 디스크 드라이브의 공간이 부족해도 파일 시스템의 크기를 증가시킬 방법이 없었다.

 이후 내용은 볼륨 매니저와 파일 시스템에서 다루도록 하겠다.

 가상화는 컴퓨트와 스토리지, 네트워크 같은 물리적 리소스를 추상화하는 기술로 이런 리소스를 논리적인 리소스로 보이게 한다. 가상화는 IT 산업에서 수년간 여러 가지 형태로 존재해왔다. 가상화의 가장 흔한 예는 컴퓨트 시스템의 가상 메모리와 로(raw) 디스크의 파티셔닝이다.

 가상화는 여러 개의 물리적 리소스를 모아 하나로 합친 형태로 제공할 수 있다. 예를 들어 스토리지 가상화는 여러 스토리지 디바이스를 하나의 큰 스토리지로 보이게 할 수 있다. 비슷하게 컴퓨트 가상화를 사용하면 물리적 서버의 CPU를 하나로 합쳐 보이게 할 수 있다. 가상화는 또한 리소스를 중앙에서 관리할 수 있게 해준다.

 여러 개의 물리적 리소스를 모아 풀(pool)을 구성한 후, 여기서 가상 디스크를 만들어 공급할 수 있다. 예를 들어 스토리지 풀에서 지정한 크기의 가상 디스크를 만들 수 있고, 특정 CPU 파워와 메모리를 가진 가상 서버를 컴픁 풀에서 만들 수 있다. 이런 가상 리소스는 풀안의 물리적 리소스를 공유하며, 이는 물리적 리소스의 활용도를 높여준다. 비즈니스 요구사항에 맞춰 가상 리소스의 용량을 애플리케이션과 사용자에 대한 중단 없이 늘리거나 줄일 수 있다. IT 자산의 활용도를 높임으로써 조직은 새로운 물리적 리소스를 공급하고 관리하는 비용을 줄일 수 있다. 또한 물리적 리소스를 덜 사용하는 것은 공간과 에너지를 아낄 수 있음을 의미하고, 이는 좀 더 나은 경제적인 상황과 그런 컴퓨팅을 가능케 한다.

 오늘날과 같은 빠른 경쟁 시대에 조직은 시장의 요구사항을 만족시키기 위해 기민하고 유연해야 한다. 이를 위해서는 감소하거나 정제된 IT 예산으로도 리소스를 확장하고 업그레이드해야 한다. 클라우드 컴퓨팅(cloud computing)은 이런 도전 과제를 효율적으로 해결할 수 있는 방안이다. 클라우드 컴퓨팅은 네트워크를 통해 IT 리소스를 서비스로 사용할 수 있게 해준다. 매우 높은 확장성과 유연한 컴퓨팅을 제공하며, 필요시 리소스를 공급받을 수 있다. 사용자는 최소한의 관리와 서비스 공급자와의 상호작용만으로도 스토리지 용량을 포함한 컴퓨팅 리소스를 늘이거나 줄일 수 있다. 클라우드 컴퓨팅은 완전히 자동화된 요청-공급 프로세스를 통해 셀프서비스로 필요한 것을 요청할 수 있게 했다. 또한 클라우드 컴퓨팅에서는 사용량 기반의 비용 청구가 가능하다. 사용자는 CPU 사용 기간과 데이터 전송량, 저장한 데이터의 용량 등 자신이 사용한 리소스에 대한 비용만 지불하면 된다.

 클라우드 인프라스트럭처는 보통 리소스 풀링과 빠른 리소스 공급을 제공하는 가상화된 데이터 센터를 기반으로 구축된다.

 현재의 스토리지에 대한 요구사항을 만족시키려면 데이터의 유형과 가치, 데이터 센터의 주요 요소를 이해해야 한다. 스토리지 아키텍처 진화와 데이터 센터의 핵심 요소에 대해서도 다뤘다. 가상화 기술의 등장은 고전적인 데이터 센터를 가상화된 데이터 센터로 변환시켰다. 클라우드 컴퓨팅은 IT 리소스를 공급하고 소비하는 방법을 바꾸고 있다.

 오늘날 데이터 센터는 크기에 상관없이 모든 비즈니스에 매우 중요하고 없어서는 안 될 부분이 됐다. 데이터 센터의 해심 요소는 호스트와 스토리지, 연결(네트워크), 애플리케이션, DBMS이다. 이 요소는 다 같이 협동해 데이터를 정리하고 저장한다. 가상화 기술의 진화로 데이터 센터는 고전적인 데이터 센터에서 가상 데이터 센터(VDC, virtualized data center)로 진화했다. VDC에서는 고전적인 데이터 센터에서의 물리적 리소스를 모아 가상 리소스로 제공한다. 이런 추상화는 물리적 리소스의 복잡성과 한계를 사용자로부터 감춘다. IT 리소스를 가상화를 통해 응집함으로써 조직은 그들의 인프라스트럭처 활용성을 높이고 인프라스트럭처의 총비용을 줄일 수 있다. 또한 VDC에서는 가상 리소스를 소프트웨어를 통해 생성할 수  있으며, 이는 고전적인 데이터 센터의 물리적 리소스 배치에 비해 훨씬 빠른 속도로 리소스를 배치할 수 있게 해준다.

 정보 자산이 점점 중요해지면서 데이터 센터의 핵심 요소 중 하나인 스토리지는 별도의 리소스로 인식됐다. 스토리지의 구현과 관리를 위해서는 특별한 주의가 필요하다.

 애플리케이션(application)은 컴퓨팅 연산의 로직을 제공하는 컴퓨터 프로그램이다. 애플리케이션은 기반 운영체제에게 스토리지 디바이스에 대한 읽기/쓰기(R/W) 연산 요청을 보낸다. 애플리케이션은 데이터베이스를 사용할 수 있다. 이런 경우 데이터베이스에서 운영체제의 서비스를 사용해 스토리지 디바이스에 대한 R/W 연산을 수행한다. 데이터 센터에 배치된 애플리케이션은 보통 비즈니스 애플리케이션과 인프라스트럭처 관리 애플리케이션, 데이터 보호 애플리케이션, 보안 애플리케이션으로 분류된다. 이 애플리케이션의 예로는 이메일과 전사적 리소스 관리(ERP, enterprise resource planning), 의 사결정 지원 시스템(DSS, decision support system), 리소스 관리, 백업, 인증, 안티바이러스 애플리케이션 등이 있다.

 애플리케이션의 I/O(입력/출력) 특징은 스토리지 시스템의 전체 성능과 스토리지 솔루션의 디자인에 영향을 준다.

 애플리케이션 가상화는 애플리케이션과 기저 플랫폼(OS와 하드웨어) 간의 의존 관계를 변화시킨다. 애플리케이션 가상화는 애플리케이션과 필요한 OS 리소스를 하나의 가상 컨테이너로 캡슐화한다. 이 기술은 애플리케이션이 배치될 컴퓨팅 플랫폼의 OS나 파일 시스템, 레지스트리를 바꾸지 않고 애플리케이션을 배치할 수 있게 해준다. 가상화 애플리케이션은 독립 환경에서 실행되기 때문에 OS나 기타 애플리케이션은 잠재적인 위험으로부터 보호된다. 여러 애플리케이션 또는 여러 버전의 애플리케이션이 같은 컴퓨팅 플랫폼에 설치될 경우 충돌이 발생할 때가 많다. 애플리케이션 가상화는 애플리케이션의 다른 버전과 관련 OS 리소스가 서로 독립적으로 관리되기 때문에 충돌 가능성을 제거한다.

- 시메트릭스 엔지뉴이티 [Symmetrix Enginuity]

EMC 시메트릭스의 운영체제

- 시메트릭스 원격 데이터 퍼실러티 [SRDF, Symmetrix Remote Data Facility]

EMC 시메트릭스가 지원하는 스토리지 어레이 기반 원격 복제 소프트웨어 제품

- 시스템 버스 [system bus]

프로세서와 메모리 간에 데이터를 전송하는 버스

- 시퀀스 [sequence]

한 포트에서 다른 포트로 전송된 프레임의 연속적인 집합

- 시큐어 셸 [SSH, Secure Shell]

두 컴퓨터 간의 안전한 채널을 통해 데이터를 교환하기 위한 네트워크 프로토콜

- 시큐어 소켓 레이어 [SSL, Secure Sockets Layer]

공개 키 암호화를 사용해 인터넷을 통한 클라이언트와 서버 간의 안전한 통신을 제공하는 암호화 프로토콜

- 신뢰성 [reliability]

특정 기간에 주어진 조건하에서 시스템이 정상적인 비즈니스 운영을 지속할 수 있음을 보장한다.

- 신뢰 컴퓨팅 베이스 [TCB, Trusted Computing Base]

안전한 환경을 제공하기 위한 컴퓨팅 환경의 모든 컴포넌트

- 실린더 [cylinder]

디스크 드라이브의 플래터에 있는 동심의 속이 빈 원통의 슬라이스 집합

- 심층 방어 [defecse in depth]

모든 액세스 경로의 액세스 포인트에 보안 제어 기법을 구현한다.

- 쓰기 분할 [write splitting]

쓰기를 하나는 소스, 다른 하나는 저널에 리다이렉트하는 과정

- 쓰기 우회 크기 [write aside size]

I/O 요청이 지정된 크기를 넘으면 캐시에 기록하지 않고 직접 디스크에 기록한다. 이는 많은 쓰기를 실행할 때 캐시를 많이 사용하지 않게 한다.

- 쓰기 페널티 [write penalty]

모든 쓰기 연산에 부가적인 I/O가 추가되는 미러 및 패리티 RAID 설정에서의 I/O 오버헤드

- 쓰기 캐시 [write cache]

쓰기 연산을 영속적인 저장을 위해 디스크에 기록하기 전에 임시로 저장하기 위한 캐시의 일부분

- 씬 프로비저닝 [thin provisioning]

전체 용량을 마스킹하며 요청한 용량의 LUN의 제공한다.

- 아웃오브밴드 [out-of-band]

가상 환경 설정이 데이터 경로 외부에 존재하는 구현

- 아웃오브싱크 [out-of-sync]

타깃 데이터가 일관적이지 않으며 전체 동기화가 필요한 상태

- 아이노드 [inode]

모든 파일과 디렉토리의 정보를 갖고 있는 자료 구조

- 아카이브 [archive]

장기간 동안 고정 컨텐츠를 저장하는 저장소

- 암호 기법 [cryptography]

보안을 위해 정보를 숨기는 기술

- 암호화 [encryption]

알고리즘(사이퍼라고 함)을 사용해 정보를 비인증 된 사용자가 읽을 수 없도록 변경하는 과정

- 애플리케이션 [application]

컴퓨팅 작업의 논리를 제공하는 컴퓨터 프로그램

- 애플리케이션 가상화 [application virtualization]

애플리케이션을 이식 가능하도록 패키징하는 기법

- 애플리케이션 프로그래밍 인터페이스 [API, Application Programming Inteface]

애플리케이션 간 통신 또는 애플리케이션과 운영체제 간의 통신을 제공하는 함수의 집합

- 액세스 제어 [Access control]

리소스에 대한 사용자의 접근을 규제하는 서비스

- 액세스 제어 목록 [ACL, Access Control List]

어떤 사용자가 어떤 리소스에 무슨 권한으로 접근할 수 있는지 지정한 권한 목록

- 액티브 디렉토리 [AD, Active Directory]

중앙 집중형 인증과 권한 서비스를 제공하는 마이크로소프트 사의 제품

- 액티브/액티브 [active/active]

모든 컴포넌트가 액티브이고 한 컴포넌트에 장애가 발생했을 때 다른 컴포넌트가 작업을 수행할 수 있는 고가용성을 위한 아키텍처

- 어레이/디스크 어레이/스토리지 어레이 [array/disk array/storage array]

1개의 유닛으로 동작하는 하드 디스크 드라이브의 그룹

- 엔드 투 엔드 크레딧 [EE-Credit, End-to-End Credit]

버퍼를 사용해 클래스 1과 클래스 2 트래픽의 데이터 흐름을 제어하는 메커니즘

- 역할 기반 접근 제어 [RBAC, role-based access control]

권한을 가진 사용자에게만 시스템 액세스를 허용하는 방식

- 연결 [concatenation]

여러 디스크의 주소 공간을 논리적으로 연결해 하나의 큰 주소 공간으로 만드는 것

- 연속 기입 캐시 [write-through cache]

데이터를 캐시에 저장하고 디스크에 기록한 후에 호스트에게 수신확인을 보낸다.

- 연속 재난 [Rolling Disaster]

수 밀리초나 수 분 사이의 시작 및 종료 시점을 가진 재난들

- 연합 [federation]

조직이 워크로드를 옮길 수 있게 하는 다른 장소에 있는 이질적인 여러 데이터 스토어

- 연합 데이터베이스 [federated database]

하나의 엔티티로 취급하고 하나의 사용자 인터페이스를 통해 접근하는 데이터베이스 집합

- 오더드 셋 [ordered set]

프레임 구분, 시그널링 같은 데이터 전송을 위한 로우 레벨 파이버 채널(FC-1 레이어)의 기능

- 오류 정정 코드 [error-correction coding]

데이터 전송의 수신부에서 에러를 검출하고 수정하는 인코딩 기법

- 오케스트레이션 [orchestration]

시스템의 여러 종류의 리소스를 조율해 작업하는 것

- 오프라인 백업 [offline backup]

백업을 하는 동안에는 데이터베이스에 I/O 작업을 할 수 없다.

- 선택적인 수신확인 [SACK, Selective Acknowledge]

데이터 수신자가 전송자에게 성공적으로 도착한 세그먼트에 대해 알려 전송자가 실제로 손실된 세그먼트만을 재전송할 수 있게 한다.

- 설정 관리 데이터베이스 [CMDB, Configuration Management Database]

정보 시스템 컴포넌트에 대한 정보를 저장하는 데이터베이스

- 섹터 [sector]

데이터를 물리적으로 저장하는 디스크 드라이브의 주소를 지정할 수 있는 가장 작은 단위

- 소스 ID [S_ID, Source ID]

소스 포트의  표준 FC 주소

- 소형 컴퓨터 시스템 인터페이스 [SCSI, Small Computer System Interface]

주변 디바이스를 컴퓨터에 연결해 데이터를 전송하는 데 사용하는 스토리지 인터페이스

- 솔리드 스테이트 드라이브/플래시 드라이브 [solid-state drive(SSD)/Flash drive]

솔리드 스테이트 메모리를 사용해 데이터를 영속적으로 저장하는 데이터 스토리지 디바이스

- 수동적 공격 [passive attack]

정보를 수정하지 않고 정보에 대한 비권한 액세스를 얻으려는 시도. 수동적 공격은 정보의 기밀성을 위협한다.

- 순환 중복 검사 [CRC, cyclic redundancy check]

데이터 무결성을 검증하기 위해 디지털 데이터의 오류를 검출하는 기술. 체크섬이라 불리는 특정 개수의 체크 비트를 전송하는 메시지에 덧붙인다.

- 슈퍼블록 [superblock]

파일의 유형과 생성, 수정 날짜, 파일 시스템의 크기와 레이아웃, 사용 가능한 리소스의 개수, 파일 시스템의 마운트 상태를 알리는 플래그 같은 파일 시스템에 대한 중요한 정보를 저장한다.

- 스냅샷 [snapshot]

데이터의 PIT 사본

- 스누핑 [snooping]

다른 사용자나 조직의 데이터에 대한 비인증 액세스

- 스니퍼 [sniffer]

네트워크 트래픽 패킷을 식별하는 소프트웨어 툴

- 스루풋 [throughput]

설정된 시간 동안 성공적으로 전송할 수 있는 데이터양

- 스왑 파일 [swap file]

페이지 파일이나 스왑 공간이라고도 하며, 운영 체제에게는 물리적 메모리처럼 보이게 만든 물리적 디스크의 일부

- 스위치 패브릭 [switched fabric]

각 디바이스가 통신을 하는 디바이스와의 고유의 전용 I/O 경로를 갖는 파이버 채널 기술

- 스위치 [switches]

허브보다 지능적인 디바이스로 하나의 물리적인 포트에서 다른 포트로 데이터를 라우팅한다.

- 스위칭 [switching]

스위치라 불리는 하드웨어 디바이스를 사용해 네트워크 세그먼트를 연결하는 프로세스

- 스케일아웃 [scale out]

수평적으로 스케일링하거나 리소스를 추가해 광범위하고 많은 요청을 수용할 수 있게 한다. 반대는 스케일업으로, 성능 요구치를 만족시키기 위해 수직적으로 스케일링하는 것이다.

- 스텁 파일 [stub file]

8KB 정도의 작은 파일로 원본 파일의 메타데이터를 저장한다.

- 스토리지 가상화 [storage virtualization]

애플리케이션이나 컴퓨트 서버, 일반 네트워크 리소스로부터 스토리지 시스템을 추상화해 애플리케이션과 네트워크 독립적으로 스토리지와 데이터를 관리한다.

- 스토리지 관리 이니셔티브 [SMI, Storage Management Initiative]

이기종 스토리지 벤더 시스템 간의 광범위한 상호 운영성을 가능하게 하는 스토리지 표준

- 스토리지 네트워크 [storage network]

컴퓨터 시스템과 스토리지 그리고 스토리지 간에 데이터를 전송하기 위한 네트워크

- 스토리지 네트워킹 산업 연합 [SNIA, Storage Networking Industry Association]

표준과 기술교육 서비스를 개발하고 촉진해 조직의 정보 관리 능력을 향상시키기 위한 비영리 조직

- 스토리지 노드 [Storage Node(백업/복구Backup/Recovery)]

1개 이상의 백업 디바이스(테이프 드라이브나 테이프 라이브러리, 디스크 디바이스 백업)를 제어하고 백업 클라이언트로부터 백업 데이터를 받는 백업 패키지의 일부

- 스토리지 리소스 관리 (SRM, Storage Resource Management)

스토리지 요소와 스토리지 디바이스, 어플라이언스, 가상 디바이스, 디스크 볼륨, 파일 리소스를 포함한 스토리지 리소스(물리적, 논리적)의 관리

- 스토리지 어레이 기반 원격 복제 [storage array-based remote replication]

스토리지 어레이에서 시작하고 종료하는 복제

- 스토리지 영역 네트워크 [SAN, storage area network]

공유 스토리지 디바이스와 서버의 고속 전용 네트워크

- 스토리지 컨트롤러 [storage controller]

스토리지 요청을 처리하고 스토리지 디바이스에게 지시하는 디바이스

- 스토어 [store]

에이전트로부터 데이터를 받고 처리하고 저장소를 업데이트한다.

- 스트라이프 [stripe]

RAID 집합 안의 모든 디스크에 퍼진 같은 위치의 스트립 집합

- 스트라이프 너비 [stripe width]

RAID 어레이의 디스크 드라이브 개수와 같다.

- 스트라이핑 [striping]

데이터를 여러 디스크 드라이브에 분할하고 분산한다.

- 스트립 [strip]

RAID 집합의 각 디스크에 있는 연속적인 주소를 갖는 블록 그룹

- 스푸핑 [spoofing]

사람이나 프로그램이 데이터를 조작해 다른 사람으로 가장해 불법적인 이득을 취하는 것

- 스핀들 [spindle]

모든 플래터를 연결하고 모터와 연결돼 있는 하드 디스크 어셈블리의 일부분

- 비트 [bit]

두 가지 구별되는 상태 중 하나만을 갖는 컴퓨팅 정보의 기본 단위. 비트의 단위 심볼은 소문자 b이다.

- 비휘발성 랜덤 액세스 메모리 [NVRAM, Non-Volatile Random Access Memory]

배터리를 사용하거나 플래시 메모리 같은 구현 기술을 사용해 전력 공급이 끊겨도 데이터 손실이 발생하지 않는 랜덤 액세스 메모리

- 빅데이터 [big data]

기존의 툴을 사용해 처리하기 어려울 정도로 큰 데이터

- 사용자 데이터그램 프로토콜 [UDP, User Datagram Protocol]

IP에서 사용하는 무연결 전송레이어 프로토콜

- 사용자 아이디 [UID, user identifier]

유닉스 환경의 각 사용자는 고유 UID로 식별된다.

- 사이퍼 [cipher]

일반 텍스트의 유닛을 임의의 심볼로 표현하는 기법

- 상위 레이어 프로토콜 [ULP, Upper Layer Protocol]

캡슐화를 수행할 때 좀 더 추상적인 프로토콜을 말한다.

- 상태 변경 알림 [SCN, State Change Notification]

디바이스를 디스커버리 도메인에 추가하거나 제거할 때 iSNS 서버에 알림 메시지를 보낸다.

- 서버 기반 가상화 [server-based virtualization]

물리적 하드웨어를 운영체제로부터 추상화하거나 마스킹하는 기술. 하나 또는 클러스터 물리 머신에서 여러 개의 운영체제를 동시에 실행할 수 있다.

- 서버 메시지 블록 [SMB, Server Message Block]

윈도우 클라이언트가 윈도우 서버에 파일 액세스 요청을 전달하기 위해 사용하는 네트워크 파일 시스템 액세스 프로토콜

- 서버/호스트/컴퓨트 가상화 [server/host/compute virtualization]

하나 또는 여러 물리적 서버의 그룹에 만들어진 가상 머신에서 다수의 운영체제와 애플리케이션을 동시에 실행할 수 있게 한다.

- 서비스 거부 공격 [DoS(Denial-of-Service) attack]

정상 사용자가 리소스를 사용하는 것을 거부하게 만드는 공격

- 서비스 레벨 협정 [SLA, service-level agreement]

서비스의 공급자와 소비자 사이의 협정

- 서비스 위치 프로토콜 [SLP, service location protocol(또는 srvloc)]

컴퓨터와 기타 디바이스가 로컬 영역 네트워크에서 아무런 사전 설정 없이 서비스를 찾을 수 있도록 한 서비스 디스커버리 프로토콜

- 서비스 지향 아키텍처 [SOA, Service-Oriented Architecture]

특정 서비스를 지원하기 위해 만들어진 아키텍처

- 서비스 집합 아이디 [SSID, Service Set Identifier]

모바일 디바이스가 BSS에 연결할 때 비밀번호처럼 사용하는 WAN을 통해 전송되는 패킷의 헤더에 있는 32개의 문자로 구성된 고유 식별자

- 서비스 카탈로그 [service catalog]

카탈로그로 서비스와 컴포넌트 서비스와 가격에 대한 속성목록을 갖고 있다.

- 서비스 클래스 [CoS, Class of Service]

네트워크 서비스의 품질을 구별하는 FC 표준으로, 각 유형을 서비스 우선순위를 가진 클래스로 다룬다.

- 서비스 품질 [QoS, Quality of Service]

데이터 통신 시스템의 성능 측정 방법

-서비스로서의 IT [IT-as-a-Service]

정보 기술 인프라스트럭쳐를 확장성 있는 온디맨드 서비스로 제공하는 엔드 투 엔드 서비스

- 서비스로서의 데스크탑 [Daas, Desktop-as-a-Service]

가상 데스크탑 인프라스트럭처(VDI, virtual desktop virtualization)를 서드파티 서비스 공급자에게 아웃소싱한다. 보통 DaaS는 멀티테넌시 아키텍처를 가지며, 구독 기반으로 서비스를 구매한다. 이런 딜리버리 모델에서는 서비스 공급자가 데이터 스토리지와 백업, 보안, 업그레이드 같은 백엔드 작업을 관리한다. 고객의 개인 데이터를 로그온/로그오프 동안 가상 데스크탑에 복사하거나 읽어오며, 디바이스와 위치, 네트워크와 무관하게 데스크탑에 액세스할 수 있다.

- 서비스로서의 소프트웨어 [Software-as-a-Service]

클라우드 인프라스트럭처에서 실행되는 공급자의 애플리케이션을 고객이 사용할 수 있게 한다. 웹 브라우저 같은 씬 클라이언트 인터페이스(예: 웹 기반 이메일)를 통해 여러 클라이언트 디바이스에서 애플리케이션을 액세스할 수 있다. 고객은 네트워크나 서버, 운영체제, 스토리지뿐만 아니라 제한된 사용자 애플리케이션 설정을 제외하고는 개별 애플리케이션 같은 기저의 클라우드 인프라스트럭처를 관리하거나 제어하지 않는다.

- 서비스로서의 인프라스트럭처 [Infrastructure-as-a-Service]

고객이 운영체제와 애플리케이션을 포함한 임의의 소프트웨어를 배치하고 실행할 수 있는 프로세싱과 스토리지, 네트워크, 기타 기본 컴퓨팅 리소스를 공급하는 것. 고객은 클라우드 인프라스트럭처를 관리하거나 제어하지는 않지만 운영체제와 스토리지, 설치한 애플리케이션을 제어할 수 있으며 일부 네트워킹 컴포넌트(예: 방화벽)도 제한적으로 제어할 수 있다.

- 서비스로서의 플랫폼 [Platform-as-a-Service]

클라우드 인프라스트럭처에서 실행하는 공급자 애플리케이션을 사용할 수 있다, 웹 브라우저와 같은 씬 클라이언트 인터페이스를 통해 여러 클라이언트 디바이스에서 애플리케이션을 액세스할 수 있다(예: 웹 기반 이메일). 소비자는 사용자에게 특화된 애플리케이션 설정을 제외하는 네트워크나 서버, 운영체제, 스토리지뿐만 아니라 개별 애플리케이션의 기능까지도 관리하거나 설정하지 않아도 된다.

 역사적으로 조직은 그들의 데이터 센터 내에 중앙 컴퓨터(메인프레임)와 정보 스토리지 디바이스(테이프 릴[reel]과 디스크팩)를 갖추고 있었다. 오픈 시스템이 발전하고 가격이 낮아지며, 배치가 쉬워지며 비즈니스 유닛/부서가 직접 자신의 서버와 스토리지를 마련하게 됐다. 이 스토리지 디바이스는 다른 서버와 공유할 수 없었다. 이런 방식을 서버 중심 스토리지 아키텍처(server-centric storage architecture)라 부른다. 이 아키텍처에서 각 서버는 한정된 개수의 스토리지 디바이스를 가지며, 서버 관리나 스토리지 용량 증가 같은 관리 직업을 하는 동안에는 정보를 사용할 수 없다. 기업 내 각 부서의 서버가 늘어나면서 보호되지 않고 관리되지 않은 파편화된 정보가 생기고 구축 및 관리 비용이 증가했다.

 이런 문제를 해결하기 위해 스토리지는 서버 중심에서 정보 중심 아키텍처(information-centric architecture)로 진화했다. 이 아키텍처에서 스토리지 디바이스는 서버와는 독립적으로 중앙에서 관리된다. 중앙 관리 스토리지 디바이스는 다수의 서버가 공유한다. 새로운 서버를 배치하면 공유 스토리지 디바이스에서 이 서버에 스토리지를 할당한다. 공유 스토리지에 스토리지를 추가하면 정보 가용성에 영향을 주지 않고 공유 스토리지의 용량을 늘릴 수 있다. 이 아키텍처에서는 정보를 좀 더 쉽고 효율적으로 관리할 수 있다.

 스토리지 기술과 아키텍처는 계속 진화하고 있으며, 이를 이용해 조직은 자신의 데이터를 통합, 보호, 최적화함으로써 정보 자산의 효과를 최대로 이루고자 한다.

데이터 센터 인프라스트럭처

 조직은 중앙화된 데이터 처리를 기업 전체에 제공하기 위해 데이터 센터를 운영한다. 데이터 센터는 대용량 데이터를 보관하고 관리한다. 데이터 센터 인프라스트럭처에는 컴퓨터, 스토리지 시스템, 네트워크 디바이스, 백업 전력 같은 하드웨어 컴포넌트와 애플리케이션, 운영체제, 관리 소프트웨어 같은 소프트웨어 컴포넌트가 있다. 또한 에어 컨디셔닝, 화재 방지 시스템, 통풍 같은 환경 제어도 포함된다.

 큰 조직은 데이터 프로세싱 작업을 분산하고 장애 시 백업을 제공하기 위해 1개 이상의 데이터 센터를 유지한다.

 다음은 데이터 센터의 기능에 매우 중요한 다섯 가지 주요 요소다.

- 애플리케이션

컴퓨팅 연산의 로직을 제공하는 컴퓨터 프로그램

- 데이터베이스 관리 시스템(DBMS)

서로 연관된 논리적 테이블에 데이터를 저장하기 위한 구조적인 방법을 제공한다.

- 호스트 또는 컴퓨트(compute)

애플리케이션과 데이터베이스를 실행하는 컴퓨팅 플랫폼(하드웨어와 펌웨어, 소프트웨어)

- 네트워크

여러 네트워크 디바이스 간의 통신을 위한 데이터 이동 경로

- 스토리지

 데이터를 영속적으로 저장하기 위한 디바이스

 이 주요 요소는 보통 별개의 엔티티로 보이고 관리되지만, 데이터를 처리하기 위해서는 모든 요소가 함께 동작해야 한다.

 클라이언트 머신은 LAN/WAN을 통해 주문 처리 애플리케이션을 실행하는 호스트에 연결하고, 고객은 이 클라이언트 머신을 이용해 주문한다. 클라이언트는 고객 이름, 주소, 결제 방법, 주문 상품, 주문 수량 등의 주문 관련 정보를 제공하기 위해 애플리케이션을 이용해 호스트의 DBMS에 액세스한다.

 DBMS는 호스트 운영체제를 통해 스토리지 어레이의 물리적 디스크에 데이터를 기록한다. 스토리지 네트워크는 호스트와 스토리지 어레이 사이의 통신 링크를 제공하고, 그들 간에 데이터를 읽거나 기록하기 위한 요청을 전달한다. 호스트로부터 읽기 또는 쓰기 요청을 받으면 스토리지 어레이는 데이터를 물리적 디스크에 저장하기 위해 필요한 작업을 수행한다.

 비즈니스의 생존과 성공을 위해서는 데이터 센터를 중단 없이 운영하는 것이 매우 중요하다. 조직은 데이터를 언제든 액세스할 수 있음을 보장하는 안정적인 인프라스트럭처를 가져야 한다.

 아래는 데이터 센터의 주요 특징이다.

- 가용성

데이터 센터는 필요한 정보를 즉시 제공할 수 있어야 한다. 정보를 사용하지 못하면 금융 서비스, 통신, 전자상거래 같은 비즈니스에 시간당 수백만 달러의 손해를 끼치게 된다.

- 보안

데이터 센터는 인증된 사람만 정보에 액세스할 수 있도록 정책과 절차를 수립하고 핵심 요소를 통합해야 한다.

- 확장성

비즈니스가 확장하면 좀 더 많은 서버와 새로운 애플리케이션, 추가 데이터베이스를 배치해야 할 필요가 생긴다. 필요시 비즈니스 운영의 중단 없이 리소스를 확장할 수 있어야 한다.

- 성능

데이터 센터의 모든 요소는 서비스 레벨에 기반해 최적의 성능을 제공해야 한다.

- 데이터 무결성

데이터 무결성이란 데이터를 전송받은 대로 올바르게 저장하고 추출되는지를 보장하기 위한 오류 수정 코드나 패리티 비트(parity bit) 같은 방법론을 일컫는다.

- 용량

데이터 센터 운영을 위해서는 대용량 데이터를 효율적으로 저장하고 처리하기 위한 적당한 리소스가 필요하다. 필요한 용량이 증가하면 데이터 센터는 데이터 가용성을 해치지 않거나 중단을 최소화하며 추가 용량을 제공해야 한다. 용량은 기존 리소스를 재할당하거나 새로운 리소스를 추가해 관리할 수 있다.

- 관리성

데이터 센터는 모든 요소를 쉽게 그리고 통합된 방식으로 관리해야 한다. 관리성은 자동화를 통해 이룰 수 있으며, 공통된 작업에서의 사람(수동)의 간섭을 줄여야 한다.

 데이터는 어떠한 결론을 도출할 수 있는 가공하지 않은 사실들의 묶음이다. 손으로 쓴 편지와 인쇄된 책, 가족 사진첩, 서명한 대출 서류, 은행 원장, 항공권 티켓이 모두 데이터를 갖는 예다.

 컴퓨터가 등장하기 전에는 데이터를 만들고 공유하는 방법은 종이나 필름 등으로 한정됐다. 오늘날에는 이메일이나 이북, 디지털 이미지, 디지털 영상 등의 훨씬 편리한 방법을 사용할 수 있다. 이 데이터는 컴퓨터를 사용해 만들고 그림 1-1과 같이 이진수(0과 1)의 문자열로 저장된다. 이런 형태의 데이터를 디지털 데이터라 하며, 컴퓨터가 처리해야 삶이 이해할 수 있다.

 컴퓨터와 통신 기술이 등장하며 데이터 생성과 공유의 속도가 기하급수적으로 증가했다. 다음은 디지털 데이터가 증가한 원인이다.

 - 데이터 처리 능력의 발달

 현대 컴퓨터는 처리와 저장 능력이 상당히 증가했다. 이로 인해 전통적인 형태의 컨텐츠나 미디어를 디지털 형태로 변환하는 일이 가능해졌다.

- 디지털 스토리지 비용의 감소

 슽리지 디바이스의 기술적인 진보와 낮아진 비용은 저비용 스토리지 솔루션을 제공할 수 있게 했다. 이런 비용상의 이점은 디지털 데이터가 생성되고 저장되는 속도를 증가시켰다.

- 빠른 통신 기술

기존 방식에 비해 디지털 데이터는 매우 빨리 공유할 수 있다. 손으로 쓴 편지는 목적지에 도달하는 데 몇 주가 걸렸지만 이메일 메시지는 단지 몇 초면 상대방에게 전달된다.

- 애플리케이션과 스마트 디바이스의 확산

스마트 애플리케이션을 장착한 스마트폰과 태블릿, 새로운 디지털 기기로 인해 디지털 컨텐츠의 생산이 매우 활발해졌다.

 데이터를 생성하고 모으고 저장하는 저렴하고 쉬운 방법들의 등장은 개인과 기업의 필요에 부응해 데이터의 증가를 가속화했으며, 이른바 데이터 폭발(data explosion)을 불러일으켰다. 개인과 비즈니스는 각자 이 데이터 폭발에 기여하고 있다.

 데이터의 중요성과 가치는 시간에 따라 변화한다. 대부분의 데이터는 단기간만 중요성을 지니며 시간이 지날수록 가치는 떨어진다. 이는 사용할 데이터 스토리지 솔루션에 영향을 준다. 보통 더욱 많이 사용될 최신 데이터는 빠르고 비싼 스토리지를 사용한다. 시간이 지나면 이 데이터는 좀 더 느리고 저렴하지만 안정적인 스토리지로 옮겨진다.

 비즈니스는 상당히 많은 데이터를 만들어내고 경제적인 이득을 얻기 위해 이 데이터로부터 의미 있는 정보를 추출한다. 따라서 비즈니스는 데이터를 관리하고 장기간 사용할 수 있어야 한다. 또한 데이터는 위험도에 따라 분류할 수 있으며, 특별 관리가 필요한 데이터도 있다. 예를 들어 은행은 고객의 계좌 정보를 정확하고 안전하게 관리해야 하는 법적인 규제사항이 있다. 어떤 비즈니스에서는 수백만 건의 고객 데이터를 다루며, 장기간 이 데이터를 안전하고 정확하게 유지해야 한다. 이는 강화된 보안 기능을 갖추고 데이터를 장기간 보관할 수 있는 고성능 대용량 스토리지 디바이스를 필요로 한다.

 다음은 연구와 비즈니스 데이터의 예다.

- 고객 데이터

주문 내역, 배송 주소, 구매 내역 등 회사 고객과 관련된 데이터

- 제품 데이터

재고와 설명, 가격, 사용 가능 여부, 판매량 등 제품에 관련된 여러 측면의 데이터

- 의학 데이터

환자 히스토리, 방사선 이미지, 약 처방과 치료 세부 내역, 보험 정보 등 의료 산업 관련 데이터

- 지진 데이터

지진학은 지진을 연구하는 과학 분야다. 이 분야에서는 지진의 위치와 강도를 예측하기 위한 정보를 얻기 위해 데이터를 수집하고 분석한다.

 데이터는 저장과 관리 방식에 따라 구조적 데이터와 비구조적 데이터로 나뉜다. 구조적 데이터는 행(row)과 열(column)로 조직돼 엄격하게 정의된 형태를 따르기 때문에 애플리케이션이 효율적으로 추출하고 처리할 수 있다. 구조적 데이터는 보통 데이터베이스 관리 시스템(DBMS, database management system)에 저장한다.

 데이터 요소를 행과 열로 저장할 수 없으면 비구조적 데이터라 한다. 비구조적 데이터는 애플리케이션이 질의하고 검색하기 어렵다. 예를 들어 고객 연락처는 메모나 이메일, 명함 또는 .doc, .txt, .pdf 같은 다양한 디지털 포맷으로 저장할 수 있다. 이런 데이터는 비구조적 성질 때문에 전통적인 고객 관리 애플리케이션을 사용해 데이터를 검색하기 어렵다. 오늘날 새롭게 만들어지는 데이터의 대부분은 비구조적 데이터다. 산업계는 다양한 소스로부터 생성되는 비구조적 데이터를 저장하고 관리하고 분석하며, 가치를 이끌어내기 위한 새로운 아키텍처와 기술, 기법을 개발해야 하는 과제에 직면해 있다.

 빅데이터(big data)는 최근 새롭게 떠오르는 개념으로, 기존의 데이터 처리 소프트웨어로는 허용된 시간 내에 데이터를 얻고, 저장, 관리, 처리할 수 없는 크기의 데이터 셋을 말한다. 이는 비즈니스 애플리케이션 트랜잭션과 웹 페이지, 비디오, 이미지, 이메일, 소셜 미디어 등의 다양한 데이터 소스에서 생성되는 구조적, 비구조적 데이터를 모두 포함하는 개념이다. 이 데이터 셋은 보통 분석, 예측 모델링, 의사결정을 위해 실시간으로 생성되건 업데이트되는 데이터다.

 빅데이터는 새로운 가치를 이끌어낼 무궁무진한 가능성이 있다. 빅데이터 생태계의 구성요소는 다음과 같다.

- 여러 장소에서 데이터를 수집하고 이 데이터에 대한 새로운 데이터(메타데이터)를 만들어내는 디바이스

- 디바이스와 사용자로부터 데이터를 수집하는 데이터 수집기

- 의미 있는 정보를 추출하기 위해 수집한 데이터를 처리하는 데이터 애그리게이터(aggregator)

- 데이터 가치 사슬에서 다른 사람이 수지하고 처리한 데이터를 이용할 데이터 사용자와 구매자