발표자료: Kinect SDK for Windows로 NUI 개발 시작하기

지난 7월 14일 전공연구 시간에 발표한 자료입니다. 이 발표 자료는 아래의 문서를 참고하여 만들었습니다.

• 영욱닷컴 http://youngwook.com/517

• Coding4Fun http://channel9.msdn.com/coding4fun

• Kinect for Windows SDK from Microsoft Research http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/

• 키넥트 블로그 http://kinect.tistory.com

• MSDN Forum http://bit.ly/qQrlJU

• Programming Guide: Getting Started with the Kinect for Windows SDK Beta(PDF) http://bit.ly/pZA6gh

목차:

• Kinect

• Kinect SDK

• Samples

• Kinect 개발

• Coding4Fun

• 참고 사이트

Kinect

Kinect란?

XBOX 360 Kinect sensor

다양한 아이디어 구현 하고파…

Kinect sdk

Kinect SDK for Windows

Kinect SDK for Windows

• Microsoft Research에서 발표

• 32비트 및 64비트 지원*

• 3가지 구성 요소

  • 장치 드라이버

  • API 프레임워크

  • 예제와 문서

*32비트에서만 동작하는 샘플이 있음

Kinect SDK 설치를 위한 준비물

• Windows 7

• Xbox 360 Kinect sensor

• Visual Studio 2010

• .NET framework 4.0^*1

• Kinect SDK for Windows^*2

*1 Visual Studio 2010 설치에 포함됨
*2 http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/

Kinect 하드웨어 설치

관련 글: http://kinect.archmond.com/5

samples

Kinect SDK Samples

Kinect SDK 샘플

• Skeletal Viewer 준비물(C++ 사용 시):

  • Microsoft DirectX® SDK – June 2010 또는 최신 버전의 Runtime for Microsoft DirectX® 9

Skeletal Viewer Kinect SDK sample

Kinect SDK 샘플

• Speech sample 준비물(32비트에서만 동작):

  • Microsoft Speech Platform Runtime, version 10.2 (32비트용)

  • Microsoft Speech Platform – Software Development Kit, version 10.2 (32비트용)

  • Kinect for Windows Runtime Language Pack, version 0.9

    • (acoustic model from Microsoft Speech Platform for the Kinect for Windows SDK Beta)

speech recognization kinect SDK sample

Kinect SDK 샘플

• Shape Game 음성 인식 오류 해결:

  • Speech sample이 작동 가능하도록 관련 개발 킷 설치(앞에서 소개하였음)

  • Recognizer.cs 파일에서 gb.Append(allChoices); 를 찾고
    그 위에 gb.Culture = ri.Culture; 구문 삽입 후 컴파일

Shape Game Speech Recognization(Kinect SDK sample)

Kinect 개발

Kinect SDK 프로그래밍 지식

NUI 라이브러리

• 키넥트 프로그래밍 핵심 요소

• Kinect SDK에서 제공되는 라이브러리

• Kinect에서 전송된 이미지, 깊이, 오디오 취합

• 인체 구조 인식, 제스처 분석 등 가능케 함

Kinect SDK 아키텍처

NUI Skeleton Tracking

• 최대 2명까지 골격 인식

• 20개 주요 부위 인식, 각 부분별 명칭 존재

• 뼈대에 관한 정보 찾기

  • C++: NuiSkeletonGetNextFrame

  • C#: SkeletonEngine.GetNextFrame

Kinect SDK 개발 방법

• using Microsoft.Research.Kinect.Nui;

  • 사람을 직접 인식하는 데 쓰이는 클래스들 포함

• using Microsoft.Research.Kinect.Audio;

  • 음성 인식과 관련된 클래스 모임

Coding4fun

좀 더 쉽게 접근하기

좀 더 쉽게 접근하기

• Coding4Fun Kinect Toolkit

  • WPF Extension, WPF Controls, WinForm Extensions, skeletal Extensions등이 포함

• Coding4Fun에 올라온 오픈 소스 프로젝트

Coding4Fun: Kinect Paint

• 웹 사이트: http://channel9.msdn.com/coding4fun/projects/Kinect-Paint

키넥트 페인트(Kinect Paint) 데모

Coding4Fun: Kinect Mouse Cursor

• 웹 사이트: http://channel9.msdn.com/coding4fun/projects/Kinect-Mouse-Cursor

키넥트 마우스 커서(Kinect Mouse Cursor) 데모

참고 사이트

Reference sites

참고 사이트 및 문서

• 영욱닷컴 http://youngwook.com/517

• Coding4Fun http://channel9.msdn.com/coding4fun

• Kinect for Windows SDK from Microsoft Research http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/

• 키넥트 블로그 http://kinect.tistory.com

• MSDN Forum http://bit.ly/qQrlJU

• Programming Guide: Getting Started with the Kinect for Windows SDK Beta(PDF) http://bit.ly/pZA6gh