본문 바로가기

전체 글

(104)
신경망 각 층의 구현(회귀) import numpy as npimport matplotlib.pyplot as pltX = np.arange(-1.0, 1.0, 0.2)Y = np.arange(-1.0, 1.0, 0.2)Z = np.zeros((10,10))w_im = np.array([[4.0,4.0],[4.0,4.0]])w_mo = np.array([[1.0],[-1.0]])b_im = np.array([3.0,-3.0])b_mo = np.array([0.1])def middle_layer(x,w,b):    u = np.dot(x,w)+b    return 1/(1+np.exp(-u))def output_layer(x,w,b):    u = np.dot(x,w)+b    return ufor i in range(10):    ..
단일 뉴런(simple neuron) import numpy as npimport matplotlib.pyplot as pltX = np.arange(-1.0, 1.0, 0.2)Y = np.arange(-1.0, 1.0, 0.2)Z = np.zeros((10,10))w_x = 2.5w_y = 3.0bias = 0.1for i in range(10):    for j in range(10):                u = X[i]*w_x+Y[j]*w_y+bias                y = 1/(1+np.exp(-u))        Z[j][i] = y        plt.imshow(Z, "gray", vmin = 0.0, vmax = 1.0)plt.colorbar()plt.show()
softmax # softmaximport numpy as npdef softmax(a):    c = np.max(a)    exp_a = np.exp(a - c)    sum_exp_a = np.sum(exp_a)    y = exp_a / sum_exp_a        return  ya = np.array([0.3, 2.9, 4.0])exp_a = np.exp(a)print(exp_a)sum_exp_a = np.sum(exp_a)print(sum_exp_a)y = exp_a / sum_exp_aprint(y)
3층 신경망(3 layer neural network) #3 layer neural networkimport numpy as npdef sigmoid(x):    return 1 / (1 + np.exp(-x))def identity_function(x):    return xdef init_network():    network = {}    network['W1'] = np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]])    network['b1'] = np.array([0.1,0.2,0.3])    network['W2'] = np.array([[0.1,0.4],[0.2,0.5],[0.3,0.6]])    network['b2'] = np.array([0.1,0.2])    network['W3'] = np.array([[0.1,0...
[미적분]함수
[미적분] 속력 속도 변화 총 이동거리 = 속력*경과시간 평균속력 = 총 이동거리 / 경과시간 평균속도 = 위치의 변화 / 경과시간 = s2 - s1 / t2 - t1
ReLU 함수 (Rectifical Linear Unit) 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0이하면 0을 출력하는 함수
다항 논리 회귀 (Multinomial logistic regression) 원핫 인코딩을 만드는 방법: 1. 클래스(라벨)의 개수만큼 배열을 0으로 채운다. 2. 각 클래스의 인덱스 위치를 정한다. 3. 각 클래스에 해당하는 인덱스에 1을 넣는다. Softmax 함수와 손실함수: Softmax는 선형 모델에서 나온 결과(Logit)를 모두가 더하면 1이 되도록 만들어주는 함수입니다. 다 더하면 1이 되도록 만드는 이유는 예측의 결과를 확률(=Confidence)로 표현하기 위함인데요. 우리가 One-hot encoding을 할때에도 라벨의 값을 전부 더하 면 1(100%)이 되기 때문입니다.