Kalkulus 3 — Pertemuan 6

Gradient & Turunan Berarah

Gradient menunjukkan arah pendakian tercuram; turunan berarah mengukur laju perubahan di arah apa pun.

Ref: Purcell, Varberg & Rigdon, Calculus 9th ed., Bab 12.5–12.6. — Stewart, Calculus 9th ed., Bab 14.5–14.6.

Koneksi Besar: Gradient = Arah Tercuram

Turunan parsial memberi laju perubahan di arah x dan y saja. Bagaimana jika kita ingin laju perubahan di arah sembarang? Itulah turunan berarah. Dan ternyata, dari semua kemungkinan arah, ada satu yang memberikan laju perubahan maksimal — arah itu tepat ditunjuk oleh gradient.

Gradient descent dalam machine learning adalah aplikasi langsung: ikuti −∇f untuk meminimalkan loss!

1. Gradient

Definisi (Gradient)

∇f(x,y) = ⟨∂f/∂x, ∂f/∂y⟩ = f_xi + f_yj

Di R³: ∇f = ⟨f_x, f_y, f_z⟩. Gradient adalah vektor — bukan skalar!

Makna Geometris Gradient

1. Arah: ∇f menunjuk ke arah kenaikan tercuram (steepest ascent) dari f.

2. Magnitude: ||∇f|| = laju perubahan maksimal di titik tersebut.

3. Tegak lurus kontur: ∇f selalu tegak lurus terhadap level curve f(x,y) = k yang melewati titik tersebut.

4. Nol di extremum: Di titik max/min lokal, ∇f = 0.

Visualisasi: Gradient Tegak Lurus Kontur

2. Turunan Berarah (Directional Derivative)

Teorema (Directional Derivative)

Laju perubahan f di arah unit vector u = ⟨cosθ, sinθ⟩:

D_uf = ∇f · u = f_x cosθ + f_y sinθ

Syarat: u harus unit vector (||u|| = 1).

Kasus Khusus

u = i (arah x): D_if = f_x (turunan parsial biasa)

u = j (arah y): D_jf = f_y

u = ∇f/||∇f||: D_uf = ||∇f|| (nilai MAKSIMAL)

u = −∇f/||∇f||: D_uf = −||∇f|| (nilai MINIMAL — steepest descent!)

u ⊥ ∇f: D_uf = 0 (sepanjang level curve, tidak naik/turun)

3. Chain Rule Multivariabel

Teorema (Chain Rule)

Jika z = f(x,y) dengan x = x(t), y = y(t):

dz/dt = (∂f/∂x)(dx/dt) + (∂f/∂y)(dy/dt) = ∇f · r′(t)

Jika z = f(x,y) dengan x = x(s,t), y = y(s,t):

∂z/∂s = f_x(∂x/∂s) + f_y(∂y/∂s), ∂z/∂t = f_x(∂x/∂t) + f_y(∂y/∂t)

Diagram Pohon: z = f(x(t), y(t))

dz/dt = (∂f/∂x)(dx/dt) + (∂f/∂y)(dy/dt)

4. Gradient = Direction of Steepest Ascent

Teorema (Steepest Ascent)

Di antara semua unit vector u, turunan berarah D_uf dimaksimalkan ketika u = ∇f / ||∇f||, dengan nilai maksimum = ||∇f||.

Bukti

D_uf = ∇f · u (definisi)

= ||∇f|| · ||u|| · cos θ (definisi dot product)

= ||∇f|| · cos θ (karena u unit, ||u||=1)

dimana θ = sudut antara u dan ∇f.

Karena −1 ≤ cos θ ≤ 1:

−||∇f|| ≤ D_uf ≤ ||∇f||

Maksimum tercapai saat cos θ = 1 ⇔ θ = 0 ⇔ u sejajar ∇f.

Minimum tercapai saat θ = π ⇔ u = −∇f/||∇f|| (arah steepest descent). ■

Konsekuensi Geometris

Kontur: u ⊥ ∇f ⇒ cos θ = 0 ⇒ D_uf = 0. Bergerak sepanjang level curve tidak mengubah f.
Lookahead: Magnitude ||∇f|| = laju maksimal — berapa cepat f naik di arah optimal.
Hill climbing: Ikuti +∇f untuk mencari maksimum, −∇f untuk minimum.

5. Gradient Descent dalam Machine Learning

Algoritma Inti

# Gradient Descent

w = initial_guess

while not converged:

grad = compute_gradient(loss, w)

w = w - α * grad # α = learning rate

Setiap langkah bergerak di arah −∇Loss (steepest descent) dengan langkah panjang α.

Visualisasi: Gradient Descent pada f(x,y) = x² + y²

Pengaruh Learning Rate α

α terlalu kecil

Konvergen sangat lambat. Banyak iterasi diperlukan; mungkin terjebak di plateau.

α ideal

Penurunan loss konsisten. Untuk fungsi konveks dengan Lipschitz gradient, α ≤ 1/L menjamin konvergensi.

α terlalu besar

Berosilasi melewati minimum, atau divergen ke infinity. “Loss explosion” di neural networks.

Praktik modern: Adam, AdaGrad, RMSProp adalah variants gradient descent dengan adaptive learning rate per parameter. Cosine annealing & warmup schedules membantu training large language models.

Animasi: Gradient Field f(x,y) = x² + y²

Vector field memvisualisasikan ∇f di setiap titik. Untuk f = x²+y²: ∇f = (2x, 2y) selalu menunjuk menjauhi origin.

6. Kalkulator Interaktif

Gradient & Directional Derivative

Titik: x =, y =

f(1,2) = 5.0000

∇f = ⟨2.0000, 4.0000⟩

||∇f|| = 4.4721 (laju perubahan maks)

Arah: u = ⟨,⟩

Unit: û = ⟨0.7071, 0.7071⟩

D_uf = ∇f · û = 4.2426

Chain Rule: z = x²+y², x = cos t, y = sin t

t =

x(1) = cos(1) = 0.5403, y(1) = sin(1) = 0.8415

f_x = 1.0806, f_y = 1.6829

dx/dt = -0.8415, dy/dt = 0.5403

dz/dt = 1.0806·-0.8415 + 1.6829·0.5403 = 0.0000

Seharusnya 0 karena x²+y² = 1 (konstan di lingkaran unit).

7. Contoh Soal & Pembahasan

Soal 1: Gradient

Hitung ∇f untuk f(x,y) = x²e^y + 3xy di titik (2,0).

Soal 2: Directional Derivative

Hitung D_uf(1,2) untuk f(x,y)=x³−3xy di arah u=⟨3,4⟩/5.

Soal 3: Arah Perubahan Maksimal

Untuk f(x,y) = xe^y, di titik (2,0), tentukan arah perubahan tercepat dan lajunya.

Soal 4: Chain Rule

z = x²y, x = t², y = 2t+1. Hitung dz/dt di t = 1.

Soal 5: Normal ke Level Curve

Tentukan persamaan garis normal ke kurva x²+xy+y²=7 di titik (1,2).

Soal 6: Gradient di R³

Hitung ∇f untuk f(x,y,z) = x²yz + xz³ di (1,1,1).

Soal 7: Iterasi Gradient Descent

Untuk f(x,y) = x²+y² mulai dari (4,3) dengan α = 0.25, hitung dua iterasi gradient descent.

Soal 8: Arah Penurunan Tercuram

Untuk f(x,y) = x²+xy+y² di titik (1,1), arah apa kita harus bergerak (unit vector) untuk menurunkan f secepat mungkin?

Soal 9: Chain Rule Multivariabel (s,t)

z = e^xsin y dengan x = st, y = s+t. Hitung ∂z/∂s dan ∂z/∂t di (s,t) = (1, 0).

Koneksi ke Ilmu Komputer

Backpropagation: Setiap weight neural network di-update via ∂Loss/∂w — gradient di ruang berdimensi miliaran (GPT-4 ~ 10¹² params). Reverse-mode autodiff = chain rule yang sangat efisien.

SGD & Momentum: Stochastic Gradient Descent + momentum (Polyak heavy-ball, Nesterov) mempercepat konvergensi. Adam mengkombinasikan momentum dengan adaptive learning rate per parameter.

← P5: Turunan Parsial P7: Max/Min & Lagrange →

Purcell, E.J., Varberg, D. & Rigdon, S. (2007). Calculus, 9th ed. Pearson, Bab 12.5–12.6. — Stewart, J. (2020). Calculus: Early Transcendentals, 9th ed. Cengage, Bab 14.5–14.6.

Bank Soal Multi-Kompleksitas + Visualisasi Penyelesaian

Ref: Purcell 9e Bab 12.5–12.6 • Stewart 9e Bab 14.5–14.6 • Marsden-Tromba 6e Ch. 3.2

Mudah — Gradient dan Turunan Terarah Dasar

M1. Gradient Polinom

f(x,y) = 2x³ − 3x²y + y². Hitung ∇f di (1,2).

M2. Turunan Terarah

f(x,y) = x²+y². D_uf(1,1) ke arah u = ⟨1/√2, 1/√2⟩.

M3. Arah Perubahan Maksimal

f(x,y) = e^xsin y. Di (0, π/2), gradient magnitude dan arah tercepat?

M4. Gradient Tegak Lurus Level Curve

f(x,y) = x² + y². Tunjukkan ∇f(1,2) tegak lurus terhadap level curve f = 5 di titik (1,2).

Sedang — Kombinasi Gradient + Aplikasi

S1. Gradient di R³ + Normal Permukaan

F(x,y,z) = x²+y²+z²−9 = 0 (bola). Hitung normal di (1,2,2).

S2. Gradient Descent Iteration

f(x,y) = x² + 4y². Mulai (2,1), learning rate 0.1. Lakukan 2 iterasi GD.

S3. Turunan Terarah Negatif

f(x,y) = 5x + 3y di (1,1). Cari unit vector u yang membuat D_uf = −5.

S4. Level Surface + Tangent Plane

Level surface F(x,y,z) = x²y + yz + z³ = 2 di (1,1,1). Cari bidang singgung.

Sulit — Multi-Step + Gradient Visualization

H1. Gradient sebagai Steepest Ascent + SVG Kontur

f(x,y) = −x² − y² (paraboloid terbalik). Visualisasikan gradient sebagai panah di beberapa titik di kontur.

H2. Persamaan Bidang Singgung Level Surface

Tunjukkan bahwa dua permukaan x²+y²+z²=30 dan xy²z=3 berpotongan secara orthogonal di (1,3,−1).

H3. Pertidaksamaan Cauchy-Schwarz dan Turunan Terarah

Buktikan D_uf ≤ ||∇f|| untuk semua unit vector u, dengan equality iff u = ∇f/||∇f||.

H4. Gradien pada Kuadrat Terkecil (Least Squares)

Diberikan model galat f(s) = ‖As − c‖. Turunkan ∇_sf dan jelaskan mengapa gradien menuntun kita ke nilai s yang paling cocok dengan data. Apa yang membuat pencarian ini sulit bila s dibatasi bilangan bulat?

Aplikasi / Mixed

A1. Physics: Heat Flow

Temperatur T(x,y) = 100 − x² − y². Panas mengalir berlawanan ∇T. Di (3,4), ke mana arah aliran panas dan laju perubahannya?

A2. ML: Gradient Clipping

Gradient ∇L = ⟨15, −8, 20⟩. Clip ke norm maksimum 10. Hitung gradient setelah clipping.

A3. Turunan pada Skala Logaritmik

Sebuah biaya komputasi mengikuti model log₂(cost) ≈ 0,265β. Hitung ∂(log₂ cost)/∂β dan tafsirkan artinya.