Sevity Blog

기대값

E라는 기호가 보이면 기대값이란 의미이고, 평균이라고 생각하면 된다.

unbiased 인 경우는 일반적인 평균 구하듯이 더해서 n으로 나누면 되는데..

각각의 이벤트가 일어날 확률이 다른 경우는 다음처럼 다소 복잡해 보이는 정의가 되...지만 그리 어려울 것은 없다.

표본공간

표본공간은 종종 S, Ω 또는 U로 표기되며, 실험 또는 임의 시도의 모든 가능한 산출들의 집합이다.

예를 들어, 동전을 던지는 실험에서 표본 공간은 {앞면, 뒷면}이다. 6면 주사위를 던지는 실험에서 표본 공간은 {1, 2, 3, 4, 5, 6}이다.

확률공간 probability space

전체 측도가 1인 측도 공간 ( P(S) = 1 이라는 의미인듯 )

(S, B, P)

S : 표본 공간

B : S의 부분집합으로 이루어진 시그마 필드, 아래 확률 함수의 정의역이 된다. 각 원소를 사건(event)라고 부른다.

P : B에서 정의된 확률 함수... 즉 B의 치역이 되며 범위는 [0, 1]이다. B의 각 원소별로 확률을 구해놓은걸 말하는듯

왜 확률공간의 정의역 B를 시그마필드로 하는지는 아래 링크 참조..

http://hanmaths.tistory.com/56

시그마 필드(가측 공간)

sigma-algebra, σ-field, sigma-field, measurable space 대 비슷한 말...

σ-field (sigma field)는는 공집합이 아니면서 가산번의 합집합, 가산번의 교집합, 그리고 여집합에 대해 닫혀있는 집합 Sㅇ의 부분집합의 모임을 뜻한다.

그러니깐 원래 S의 부분집합을 모아놓은 것이면서, 원소끼리 합집합, 교집합, 여집합을 해도 닫혀있으면 필드라는 것

아래 주사위 예에서 보면 {짝수}, {홀수}를 합집합하면 S전체집합 나오고 교집합하면 공집합 나오는데 그것들도 다 원소로 포함되어 있으니 필드라고 하는 것

필드와 시그마 필드 차이는 유한번 연산이냐 가산번 연산이냐인데 내가 관심있는 범위내에서는 크게 중요하지 않은것 같다.

예

예를들어 주사위를 던져 짝수냐 홀수냐를 가리는 경우라고 했을 때

그때의 확률 공간 (S, B, P)는

S = {1, 2, 3, 4, 5, 6}

B = {φ,S,{짝수},{홀수}}

P : P(φ)=0. P(S)=1, P({짝수})=1/2, P({홀수})=1/2

분산

위에 E(기대값)랑 X(확률변수)를 이해하고 나면 드디어 분산의 다음 정의를 이해할 수 있다.

\[ \begin{align} \operatorname{Var}(X) &= \operatorname{E}\left[(X - \operatorname{E}[X])^2\right] \\ \end{align} \]

관측값과 평균의 차이를 제곱한 값을 평균낸 것.

평균값의 선형성으로부터 다음과 같은 식을 얻을 수 있다.

\[ \begin{align} \operatorname{Var}(X) &= \operatorname{E}\left[(X - \operatorname{E}[X])^2\right] \\ &= \operatorname{E}\left[X^2 - 2X\operatorname{E}[X] + (\operatorname{E}[X])^2\right] \\ &= \operatorname{E}\left[X^2\right] - 2\operatorname{E}[X]\operatorname{E}[X] + (\operatorname{E}[X])^2 \\ &= \operatorname{E}\left[X^2 \right] - (\operatorname{E}[X])^2 \end{align} \]

이 식은 실제로 분산을 구할 때 자주 사용된다.

표준편차

간단 정의

표준편차는 $\sigma$로 표시하고 $\sqrt{분산}$ 이다.

정의

일반적으로 모집단의 표준편차는 $\sigma(시그마)$로, 표본의 표준편차는 S(에스)로 나타낸다.

확률변수 X의 표준 편차 $\sigma$ 는

$\sigma = \sqrt{\operatorname{E}(X-\operatorname{E}(X))^2} = \sqrt{\operatorname{E}(X^2) - (\operatorname{E}(X))^2}$

공분산

2개의 변수에 대한 공통분산이라는 의미로

실수값을 지니는 2개의 확률변수 X와 Y에 대해서 각 기대값(평균)이 다음과 같을때

$E(X)=\mu,E(Y)=\nu$

공분산은 아래와 같이 나타낼 수 있다.

$\operatorname{Cov}(X, Y) = \operatorname{E}((X - \mu) (Y - \nu))$

상관계수

위의 공분산 정의로 부터 상관계수는 다음과 같이 정의한다.

\[ \begin{align} \rho_{X,Y}= \frac{\operatorname{cov}(X,Y)}{\sigma_X \sigma_Y} \end{align} \]

$ \operatorname{cov}$ 는 공분산

$ \sigma_X $ 는 확률변수 X의 표준편차

공분산이 각 변량의 단위에 의존하게되어 변동 크기량이 모호하므로,공분산에다가 각 변량의 표준편차를 나누어주어 `정규화`시킴

-1보다 크거나 같고 1보다 작거나 같다.

아무처리 안해도 화면 돌아가는데 반응은 한다. 그런데 매번 Activity의 onCreate()가 다시 불리는 구조.

만약 onCreate()가 매번 불리는게 싫다면 여기 참조

화면 전환 이벤트를 처리하고 싶다면 onConfigurationChanged()를 overide하면 되는데 여기 참조

단!, 위 링크대로 하면 onConfigurationChanged()가 안불리고, 여기에 있는대로 API level 13이상에서는 screenSize를 추가 해줘야 한다.

원래는 landscape용 화면 xml을 별도로 만들어 주면 좋다.

여기 참조

소스코드 상에서 현재의 orientation을 알아오는데는 다음처럼 하면된다.

(상수값을 직접 만들어 써야해서 조금 지저분 하다.)

(참고로 ORIENTATION_180으로는 핸드폰 돌려도 들어오지 않았다.)

final int ORIENTATION_0 = 0;
final int ORIENTATION_90 = 1;
final int ORIENTATION_180 = 2;
final int ORIENTATION_270 = 3;

Display display = ((WindowManager)mc.getSystemService(Context.WINDOW_SERVICE)).getDefaultDisplay();
int orientation = display.getRotation();
switch (orientation)
{
  default:
  case ORIENTATION_0: // Portrait
    //dostuff
	  System.out.println("orientation ORIENTATION_0");
    break;
  case ORIENTATION_90: // Landscape left
    //do stuff
	  System.out.println("orientation ORIENTATION_90");
    break;
  case ORIENTATION_180: // Upside down.
    //do stuff
	  System.out.println("orientation ORIENTATION_180");
    break;
  case ORIENTATION_270: // Landscape right
    //do stuff
	  System.out.println("orientation ORIENTATION_270");
    break;
}

참조할 만한 링크는 여기 이다.

emulator

AVD(emulator) portrait/landscape 전환 : Ctrl + F11

근데 2.3이나 4.4버전의 경우는 화면 전환시 버그가 있다고 한다. (나도 경험)

여기

descriptor

> __get__, __set__, and __delete__. If any of those methods are defined for an object, it is said to be a descriptor.

> descriptors only work for new style objects and classes.

__get__, __set__ 둘다 가진넘을 data descriptor라고 하고,

__get__ 하나만 가진넘은 non-data descriptor라고 한다.

class RevealAccess(object):
    """A data descriptor that sets and returns values
       normally and prints a message logging their access.
    """

    def __init__(self, initval=None, name='var'):
        self.val = initval
        self.name = name

    def __get__(self, obj, objtype):
        print 'Retrieving', self.name
        return self.val

    def __set__(self, obj, val):
        print 'Updating' , self.name
        self.val = val

>>> class MyClass(object):
    x = RevealAccess(10, 'var "x"')
    y = 5

>>> m = MyClass()
>>> m.x
Retrieving var "x"
10
>>> m.x = 20
Updating var "x"
>>> m.x
Retrieving var "x"
20
>>> m.y
5

위 예제보면 별것도 아니네..

그냥 클래스 멥버variable접근할때 함수불리게 해서 추가동작 할 수 있는걸로 보인다.

(decorator랑도 비슷?)

근데 여러가지 파이선 기능 구현할때 이 기능을 사용해서 구현했다는거 같다.

> Descriptors are a powerful, general purpose protocol. They are the mechanism behind properties, methods, static methods, class methods, and super(). They are used used throughout Python itself to implement the new style classes introduced in version 2.2. Descriptors simplify the underlying C-code and offer a flexible set of new tools for everyday Python programs.

약수구하기

//Naive
VI Divisors(int n)
{
	VI v;
	FORE(i, 1, n)
	{
		if (n%i == 0) v.push_back(i);
	}
	return v;
}

//대칭성을 활용하면 sqrt 복잡도에 구할 수 있다.
VI Divisors2(int n)
{
	set<int> v;
	for (int i = 1; i*i <= n; i++)
	{
		if (n%i == 0) 
		{
			v.insert(i);
			v.insert(n/i);
		}
	}
	return VI(v.begin(), v.end());
}

reshape

이 함수는 다음처럼 차원을 바꿀 때 사용함

원래는 2행 3열인 2차원 array 자료를

reshape으로 위처럼 3행 2열로 변경할 수 있다.

위 처럼 2차원을 1차원으로 줄일 수도 있고,

1차원같은 2차원으로 만들수도 있다(이런 형태가 Keras 쓰다보면 필요함)

더욱 좋은 사용법은 -1을 이용해서 일부값을 스킵하면 알아서 채워준다는 것

nan 체크

놀랍게도 아래 방법으로는 체크가 되지 않는 경우가 있음을 발견

>>> X[date][isin]
array([ nan,  nan,  nan,  nan,  nan,  nan])
>>> np.nan in X[date][isin]
False

여기에도 해당 내용이 있다.

>>> np.isnan(np.min(X))
True

위 처럼 하라는거네

perceptron

초기 퍼셉트론: 여러개의 바이너리 인풋을 받아서 하나의 바이너리 아웃풋을 리턴 (뉴런을 모방)

인풋 범위를 실수로 확장하고 weight를 도입하고 output 계산식을 정의

인풋을 weight sum 해서 의사결정을 한다고 생각가능

예를들어 파티에 갈지 결정하는 퍼셉트론을 만들어보자

파티에 가고싶은 요소:

• 날씨는 좋은지 x1 = 0 또는 1

• 여자친구가 같이가고 싶어하는지 x2 = 0 또는 1

• 교통은 좋은지 x3 = 0 또는 1

그런데 날씨가 좋은 경우 다른건 따지지 않고 참석하고 싶을때..

w1 = 6, w2 = 2, w3 = 2, threshold = 5로 놓아보자

날씨가 안좋아도 여자친구가 가고싶어하고 교통이 좋으면 참석하는 걸로 바꾸어 보면.. threshold를 3으로 변경

AND 게이트를 만들어보자!

• x1 x2

• 0 0 > 0

• 0 1 > 2

• 1 0 > 2

• 1 1 > 4

퍼셉트론 여러개를 쌓아보자

가산기를 만들어보자

convnetJS Demo

http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

layer_defs = [];
layer_defs.push({type:'input', out_sx:1, out_sy:1, out_depth:2});
layer_defs.push({type:'softmax', num_classes:2});

net = new convnetjs.Net();
net.makeLayers(layer_defs);

trainer = new convnetjs.SGDTrainer(net, {learning_rate:0.01, momentum:0.1, batch_size:10, l2_decay:0.001});

sigmoid neuron

푸아송 분포(Poisson Distribution)

확률론에서, 푸아송 분포(Poisson分布, 영어: Poisson distribution)는 단위 시간 안에 어떤 사건이 몇 번 발생할 것인지를 표현하는 이산 확률 분포이다.

푸아송 분포는 이항 분포의 특수한 형태로 볼 수 있다.

$X \sim \textrm{B}(n,p). \,$

이항분포를 따르는 위와 같은 확률변수 X에서, n이 대단히 크고 p가 대단히 작을 경우, 이 확률변수 X는 λ=np인 푸아송 분포로 근사할 수 있다.

$X \sim \textrm{Pois}(\lambda)$ 로 표기

정해진 시간 안에 어떤 사건이 일어날 횟수에 대한 기댓값을 $\lambda$라고 했을 때, 그 사건이 n회 일어날 확률은 다음과 같다.

$f(n; \lambda)=\frac{\lambda^n e^{-\lambda}}{n!},\,\!$

여기에 따르면,

어떤 사건에 대해서 실패, 성공 또는 앞면, 뒷면과 같이 2가지 이상의 상황에 대해서 관심이 있는 것이 아니라,

시간에 따른 교통사고 횟수등 발생 횟수에만 관심이 있을때 푸아송 분포를 적용할 수 있다고 한다.

여기에 따르면

구간마다 사건이 일어나는 평균값 λ를 알고 있다고 치면, 어떤 주어진 구건에 사건이 발생하는 수 X를 예측하겠다는 것

뭔가 직관적으로, 대충 요게 이정도 일어나는 애라는걸 아는데,

내가 원하는 구간동안에 몇번 일어날 지를 알고 싶을 때 이 분포를 가정하면 된다는것...

이자료를 보면, 이항분포 식으로 부터 푸아송 식을 유도할 수 있다. (n이 크고 p가 작다는 가정하에)

확률변수를 함수로 해석하기

보통은 위의 간단 정의로 충분한데.. 함수해석이 굳이 필요한 이유는 무엇일까..

위의 주사위 예에서는 표본공간과 관측값인 확률변수가 1:1 관계이지만,

(주사위 1이 나오면 확률변수 X = 1, 주사위 2가 나오면 확률변수 X = 2 등...)

만약에 확률변수를 다음과 같이 정의하면

- 주사위가 짝수가 나오면 1, 홀수가 나오면 0

정의역 {1,2,3,4,5,6} 이고 치역 {0,1}인 함수처럼 된다.

이런 경우는 확률 변수 X를 함수로 보는 해석이 더 자연스럽고 편할수 있다.

• 이때 확률변수 X는 '주사위를 굴렸을 때 나온 수의 짝수/홀수 여부'가 된다

• 다시한 번 말하지만 정의역 {1,2,3,4,5,6} 이고 치역 {0,1}인 함수처럼 된다.

• 다른말로 표본공간 > 가측공간(내 멋대로 0, 1로 정의)의 함수처럼 된다.

실제 예를 보면 다음과 같다.(확률변수로 X가 아닌 Y가 쓰였다)

Coin Toss

The possible outcomes for one coin toss can be described by the sample space Ω={heads,tails}. We can introduce a real-valued random variable Y that models a $1 payoff for a successful bet on heads as follows:

베이즈 정리 = Bayes' theorem

조건부 확률을 알고 있을 때 위 식의 유도 자체는 벤다이어그램 만으로 쉽게 된다.

예를 들어 아래 세 가지 정보를 알고 있다고 하자.

1. P(A)가 암에 걸릴 확률 = 1.0%

2. P(B)가 65세일 확률 = 0.2%

3. P(B|A)가 암에 걸린 사람이 65세일 확률 = 0.5%

이럴때.. 내가 65세인데 암에 걸릴 확률을 구하고 싶으면 다음과 같이 하면 된다는 것

P(A|B) = 65세인 사람이 암에 걸릴 확률은 ${{0.5\% \times 1.0\%}\over0.2\%} = 2.5\% $ 이 된다.

Bayesian network

대략적으로 state들이 있고 화살표가 있는 DAG을 말하고..

state들 간의 연결은 영향력을 나타낸다.

A simple Bayesian network. Rain influences whether the sprinkler is activated, and both rain and the sprinkler influence whether the grass is wet.

예를 들어, 베이지안 네트워크는 질환과 증상 사이의 확률관계를 나타낼 수 있다. 증상이 주어지면, 네트워크는 다양한 질병의 존재 확률을 계산할 수 있다.

Formally, Bayesian networks are DAGs(directed acyclic graphs)

좀 더 많은 예제

• http://blog.synapsoft.co.kr/103

괜찮은 링크

http://www.cs.colby.edu/maxwell/courses/tutorials/maketutor/

공식매뉴얼

kldp 한글 매뉴얼

일반

make with no arguments executes the first rule in the file

재밌는건 아래와 같은 Makefile의 경우 가장 처음 target만 무조건 수행된다는 점이다.
clean:test.c
        echo "clean"
 
clean2:test.c
        echo "clean2"
 
a.out : test.c
        gcc test.c
즉 위와 같은 Makefile 이 있을 때, make를 수행하면 가장 위에있는 target인 clean 만 수행되고 나머지 target인 clean2, a.out 은 깡그리 무시된다는 점이다.
clean2나 a.out 이 수행되려면 만앞에 있는 clean의 dependency chain에 언급해주거나 make a.out 이런식으로 직접 파라미터로 넣어주는 수밖에 없는것 같다.

.c를 .o로 바꾸어 주는 것은 자동이다.

이 특징을 이용하는게 좋은 것이.. 특정 .c 하나만 바뀌었을때 그 파일만 빌드되도록 만들기 쉽다는 점

아하!! 정말 중요한 것을 깨달았다.

1.  컴파일 (.c 파일에서 .o 로 변환되는 것) 은 원래 부터 자동이라는 것.

2.  그리고 이 컴파일에 사용되는 것이 바로 predefined macro 라는 것!! 즉 CC, CFLAGS 같은 애들이 이와 같이 자동 컴파일 될 때 쓰인다는 것이다!

그 예로서 다음과 같은 Makefile 이 있을 때.

  6 OBJ = main.o func1.o
  7
  8 test : $(OBJ)
  9     gcc -o test $(OBJ)

보면은 원래는 다음처럼 .c를 .o로 바꾸어주는 부분도 있어야 하지만

  3 OBJ = main.o func1.o
  4
  5 test : $(OBJ)
  6     gcc -o test $(OBJ)
  7
  8 main.o : main.c
  9     gcc -c main.c
 10
 11 func1.o : func1.c
 12     gcc -c func1.c

실제로 위에거 처럼해도 잘 되는걸 볼 수 있고 실행시 나타나는 명령은 다음과 같다.

cc    -c -o main.o main.c
cc    -c -o func1.o func1.c
gcc -o test main.o func1.o

보면은 컴파일러로 자동으로 cc 가 쓰였고 컴파일 옵션에는 -c 만 있음을 알 수 있다.

위를 gcc로 바꾸고 디버깅 옵션인 -g 를 추가하려면 다음과 같이 Makefile을 수정해주면 된다.

  3 CC = gcc
  4 CFLAGS = -g
  5
  6 OBJ = main.o func1.o
  7
  8 test : $(OBJ)
  9     gcc -o test $(OBJ)

바로 predefined macro를 통하여 컴파일 옵션을 지정해 준것이다.

그럼 나타나는 명령어가 다음과 같이 잘 바뀐다.

gcc -g   -c -o main.o main.c
gcc -g   -c -o func1.o func1.c
gcc -o test main.o func1.o

타겟이 여러개인 경우도 가능하다

예제 2.1에서는 안 나왔지만 타겟이 여러 개인 경우는 어떻게 될까요? 그때에는 각 타겟에 대해서, 하나의 타겟을 가지는(그리고 나머지 선행조건 및 레시피는 모두 동일한) 다수의 규칙들을 작성하는 것과 동일합니다. 즉 다음의 규칙을 보시죠.

$(OBJS) : MyCommon.h
	echo “$@ depends on MyCommon.h”
$(OBJS)는 MySocket.o MyClient.o 으로 정의되어 있기 때문에, 위의 규칙은 다음 두 개의 규칙으로 풀어 쓴 것과 동일합니다.

MySocket.o : MyCommon.h
	echo “$@ depends on MyCommon.h”
 
MyClient.o : MyCommon.h
	echo “$@ depends on MyCommon.h”
당연히 풀어 쓴 것 보다야 하나의 규칙이 훨씬 컴팩트해서 보기도 좋고 유지 보수도 용이합니다.. (아, 물론 타이핑도 적습니다.) 이제 실제 규칙의 처리는 어떻게 되는 지 알아 보도록 하겠습니다.

internal macro

내부적으로 정해짐. 바꿀수없음.

$@  현재의 목표 파일(Target) ( :의 왼쪽 부분)

$^  :의 오른쪽 부분

$*  확장자가 없는 현재의 목표 파일(Target) 

$<  :의 오른쪽 부분중 첫번째 거

$?  현재의 목표 파일(Target)보다 더 최근에 갱신된 파일이름

gccmakedep

=== mac에서 gccmakedep 설치하기 ===

http://egloos.zum.com/manwooo/v/1808309

위에 링크보고 macport 깔고 gccmakedep 설치하면 됐다.

단, 터미널은 다시 구동해야 하더라.

=== 설명 ===

다른 것들은 모두 편리하고 좋은 것 같은데, Makefile 하단에 있는 파일 간의 종속에 대한 정보를 모두 타이핑해서 넣어야 할까요? 파일이 많을 경우 어떻게 일일이 입력할 수 있있겠습니까?  당연한 말씀입니다. 게으른 프로그래머에게는 말도 안되죠. 그래서 이와 같은 귀찮은 작업을 make에 떠 넘기겠습니다. 바로 파일간의 의존성을 찾아서 그 내용을 직접 구성해 달라고 요청하는 것이죠.
  이렇게 파일의 의존성을 검색해서 그 내용을 작성해 주는 것이 gccmakedep 입니다. 아래와 같이 수정해서 make dep를 실행합니다.
TARGET =	sample
OBJS = main.o tcp.o rs232.o
SRCS = $(OBJS:.o=.c)
CC = -I/home/jwjw/prjs/include	-g	-c
$(TARGET): $(OBJS)
    gcc -lm -o $@ $^

.c.o:
    gcc $(CC) $<

dep : 
    gccmakedep $(SRCS)
  이렇게 추가 작성해서 make dep 를 실행하시면 make는 컴파일과 링크 작업 대신에 라벨 dep: 밑의 명령을 실행합니다. 새로 만들어진 SRCS는 OBJS에 열거된 파일 모록에 대해서 확장자를 .o를 .c로 바뀐 목록을 가지게 됩니다. gccmakedep는 소스 파일을 가지고 의존성을 검색할 수 있기 때문이죠.
]$ make dep
]$ vi Makefile
TARGET =	sample 
OBJS = main.o tcp.o rs232.o 
SRCS = $(OBJS:.o=.c) 
CC = -I/home/jwjw/prjs/include	-g	-c 
    $(TARGET): $(OBJS) gcc -lm -o $@ $^ 
.c.o: 
   	gcc $(CC) $< 
dep :	gccmakedep $(SRCS)
# DO NOT DELETE
main.o: main.c /usr/include/stdio.h .........
tcp.o: tcp.c /usr/include/stdio.h .........
rs232.o: rs232.c /usr/include/stdio.h .........
  하단에# DO NOT DELETE 행과 함께 밑으로 각 .o 에 대한 관련 파일 목록이 자동으로 생성되는 것을 보실 수 있습니다. 이제 make를 실행하면 위 정보에 맞추어 컴파일하게 됩니다.

재귀적 사용(sub directories)

이 링크가 좋네

옵션

j 옵션

make -j 12

위처럼하면 12개의 명령어를 동시에 패러럴 하게 수행하라는 것(논리 CPU개수 적어주면 될 듯)