Cost function là gì

Ở bài xích trước, họ sẽ biết đến Hypothesis Function cùng Cost Function vào Linear Regression. Hypothesis Function đó là quy định sẽ giúp các chương trình Machine Learning dự đân oán với search những trọng số về tối ưu trải qua Cost Function để giúp những dự đoán này đúng chuẩn rộng.Vật nên sinh hoạt bài viết lần này, tôi ao ước giới thiệu các ví dụ ví dụ sẽ giúp các bạn hình dung rõ hơn hoạt động vui chơi của 2 hàm này (đặc biệt là Cost Function) cùng phương pháp chúng ảnh hưởng cùng nhau ra sao.Tôi đã chuẩn bị sẵn một Dataphối có các điểm tài liệu không giống nhau, chúng ta có thể tưởng tượng nó biểu lộ mang lại bất cứ dữ liệu nào kế bên thực tế ( giá nhà theo số mét vuông, tiền trong tài khoản ngân hàng của bạn theo năm,...) để triển khai cho bốn duy của người tiêu dùng được sinh động hơn thông suốt nội dung bài viết.

Bạn đang xem: Cost function là gì


*

Có lẽ bạn đã nhận được ra mối quan hệ thân những dữ liệu trên là tuyến đường tính vày có vẻ như Lúc $x$ của chúng ta càng tăng thì $y$ cũng tăng theo. Đây là một trong ngôi trường thích hợp tuyệt vời nhất để vận dụng Linear Regression.trước hết, ta rất cần phải lập Hypothesis Function tương xứng cùng với Dataset của chúng ta. Do ở đây tài liệu của họ chỉ dự đoán dựa vào một tsay đắm số $x$ cần $h_ heta(x)$ sẽ có dạng:Nhưng nó vẫn chưa hoàn hảo, họ đề nghị tìm các trọng số ($ heta_0$, $ heta_1$) phù hợp để thuật toán của ta hoàn toàn có thể đưa ra dự đoán thù chuẩn chỉnh xác. Như bạn có thể lưu giữ lại từ bài bác trước, vào trường hòa hợp này $h_ heta(x)$ chính là phương trình đường thẳng vào không khí hai phía cơ mà ta đã học tập sinh hoạt thêm. Trong số đó, $ heta_0$ có mục đích di chuyển mặt đường trực tiếp lên xuống theo trục $Oy$, $ heta_1$ là mang đến độ dốc của mặt đường trực tiếp mà lại chúng ta hy vọng thể hiện. Hai tđê mê số này kết hợp lại có đủ kỹ năng biểu lộ hầu như con đường thẳng vào không khí hai phía.Mục đích chủ yếu của thuật toán Linear Regression là tìm một đường trực tiếp làm thế nào cho khoảng cách từ bỏ đường thẳng kia mang đến tất cả những điểm dữ liệu là bé dại tốt nhất. Tôi hotline các trọng số thỏa mãn nhu cầu trải đời này là những trọng số tối ưu.Cá nhân bọn họ, là tín đồ lập trình, cần yếu tìm các trọng số này bằng cảm tính. Nếu bạn có nhu cầu làm vậy thì kiên cố bạn đang không ở đây. Thêm nữa, vấn đề đó đang càng bất khả thi lúc số chiều không khí tăng thêm, nhỏng 4D chẳng hạn.Và đó là thời điểm Cost Function lao vào giúp đỡ. dựa vào $h_ heta(x)$ mà ta lựa chọn sinh sống bên trên. Công thức của Cost Function sẽ tiến hành biểu lộ dưới dạng:<eginalign*J( heta) &= frac12msum_i=1^m( h_ heta(x^(i)) - y^(i) )^2 \J( heta_0, heta_1) &= frac12msum_i=1^m( heta_0+ heta_1x^(i)-y^(i))^2\J( heta_0, heta_1) &= frac18sum_i=1^4( heta_0+ heta_1x^(i)-y^(i))^2endalign*>Ký hiệu $m$ dùng để chỉ con số dữ liệu họ gồm. Tại biểu thiết bị trên ta có 4 điểm, vậy đề nghị $m=4$. Còn $x^(i), y^(i)$ là dữ liệu máy $i$ trong Datamix của ta, ví dụ như bạn cũng có thể tìm hiểu thêm nghỉ ngơi bảng bên dưới $x^(1)$ của ta là $3.0$ còn $y^(1)$ là $1.5$. Hai vệt ngoặc đối kháng được phân phối đỡ đần ta không bị nhầm lẫn với phnghiền lũy thừa.
*

Bây tiếng việc bắt buộc có tác dụng là kiếm tìm những trọng số làm cho $J( heta)$ nhỏ tốt nhất. Các chúng ta nên chú ý rằng những tđam mê số $x$ với $y$ trong Cost Function gần như chỉ cần các số lượng ví dụ được lôi ra trường đoản cú dữ liệu của ta. Vấn đề này khiến cho $J( heta)$ chỉ phụ thuộc với những trọng số $ heta_0$ cùng $ heta_1$.Như tôi đang nói làm việc bài bác trước, hiện thời ta chỉ cần search chỗ mà $J( heta)$ đạt quý giá nhỏ tuổi duy nhất, áp dụng cách thức tìm kiếm cực hiếm nhỏ dại độc nhất trong một hàm số ta sẽ học từ bỏ càng nhiều. (tôi mong bạn vẫn còn đấy nhớ)

Đi tìm trọng số về tối ưu


Để kiếm được giá trị nhỏ tuyệt nhất trong một hàm, ta yêu cầu mang giá trị của hàm tại những điểm cực trị, địa điểm đạo hàm của nó bằng ko với so sánh với mức giá trị nhị biên.
Nhưng Cost Function của họ chỉ là tổng của không ít hàm bậc nhì dương khác nhau
. Tại bên dưới là một hình hình họa của hàm số $y=x^2$ là 1 trong những hàm số bậc nhị dương.
*

Không khó khăn để được rằng $J(x)$ chỉ gồm một điểm cực trị với trên cực trị này giá trị của hàm số là nhỏ dại tốt nhất. Điều này vẫn đúng mặc dù bọn họ bao gồm từng nào trọng số $ heta$ đi chăng nữa.Để dự phòng chúng ta không biết khái niệm đạo hàm của hàm số các trở thành, trong thời điểm tạm thời tôi đã mang đến $ heta_0=0$ nhằm mục đích tạo ra một pmùi hương trình với một trọng số nhất. Còn vì sao lại là 0 thì có vẻ như các bạn cũng dự tính được rằng đường trực tiếp đẹp tuyệt vời nhất đối với các điểm dữ liệu của bọn họ đang đi qua nơi bắt đầu tọa độ hoặc nơi nào đó gần đấy.

Xem thêm: Cách Sử Dụng Son Lì Đúng Chuẩn, Cách Đánh Son Lì Chuẩn Đẹp Và Không Khô Môi


*

Vậy $h_ heta(x)$ cùng $J( heta)$ của tớ đã theo lần lượt trsinh sống thành:Nhưng Cost Function của bọn họ vẫn chưa nghỉ ngơi dạng tương đối đầy đủ của chính nó. Ta rất cần được cầm cố những tài liệu mà lại ta thu thập được vào Dataset để rất có thể tính toán thù. Đây là bảng dữ liệu tôi giữ lại để bạn có thể dò theo.
*

<eginequation*J( heta_1)=frac18Bigg( Big(3cdot heta_1-1.5Big)^2 + Big(5cdot heta_1-2.25Big)^2 + Big(3.25cdot heta_đơn.625Big)^2 + Big(1.5cdot heta_1-1Big)^2 Bigg)endequation*>Việc trước tiên để tìm được giá trị nhỏ tuổi độc nhất, cũng đó là cực trị tuyệt nhất, của Cost Function là mang đạo của hàm $J( heta_1)$ theo $ heta_1$. quý khách rất có thể tự có tác dụng điều đó nếu như bạn muốn. Còn ko, bạn có thể coi tôi thao tác đó dưới.<eginequation*eginsplitfracd J( heta_1)d heta_1 &=frac28Bigg(3cdotBig(3cdot heta_đối kháng.5Big) +5cdotBig(5cdot heta_1-2.25Big)+ 3.25cdotBig(3.25cdot heta_đơn.625Big)+1.5cdotBig(1.5cdot heta_1-0.75Big)Bigg)\&=frac14Bigg(Big(9cdot heta_1-4.5Big)+Big(25cdot heta_1-11.25Big)+Big(10.56cdot heta_1-5.28Big)+Big(2.25cdot heta_đơn.125Big)Bigg)\&=frac14Bigg(46.81cdot heta_1-22.155Bigg)endsplitendequation*>Cho $dfracd J( heta_1)d heta_1 = 0$ với ta có:<eginalign*fracd J( heta_1)d heta_1&= 0\frac14cdotBigg(46.81cdot heta_1-22.155Bigg)&= 0\ heta_1&= frac22.15546.81\ heta_1&approx 0.5endalign*>Vậy trọng số về tối ưu có giá trị $ heta_1=0.5$. Lúc này, con đường trực tiếp chúng ta đã có được là:
Khá là tuyệt vời và hoàn hảo nhất đúng không? Chỉ bởi gần như tính toán thường thì bạn đã có thể tìm ra trọng số về tối ưu nhưng không yêu cầu ước chừng một bí quyết bằng tay. Thật ra bởi họ vẫn làm cho tròn trọng số này yêu cầu đã gồm một vài thông tin bị không đủ, dù rằng những đọc tin sẽ là vô cùng nhỏ tuổi. Tuy nhiên, trường hợp tôi để máy vi tính phụ trách công việc tính tân oán góp tôi, việc bọn chúng làm tốt nhất có thể, ta hoàn toàn có thể ra được kết quả giỏi hơn.
Tôi đang sử dụng Pythanh mảnh nhằm tính toán lại đều gì họ đang có tác dụng. Như chúng ta thấy, mặt đường trực tiếp red color được vẽ vì laptop dường như ko được khớp lắm nếu như ta nhìn bởi mắt thường xuyên mà lại về thực chất tân oán học tập, chúng bắt đầu là những trọng số buổi tối ưu. Tôi biết rằng khác hoàn toàn là thon nhưng bên trên thực tiễn ta đề xuất làm việc với số lượng dữ liệu lên đến con số hàng nghìn (với tin tôi đi, chúng sẽ không "đẹp" như dữ liệu của chúng ta đâu) khiến cho bài toán tận dụng ưu điểm tính toán của sản phẩm tính (nhanh khô và thiết yếu xác) đang xuất sắc hơn các.
Thêm nữa, nếu như tôi vẽ ra đồ vật thị của $J( heta)$ chuyển đổi theo $ heta$ (tôi xin phxay Hotline $ heta$ mang lại nđính thêm gọn chũm bởi $ heta_1$) nó đang biểu thị đúng phần đa gì tôi đang dự đoán, rằng chỉ tất cả một rất trị với tại địa điểm kia, bọn họ vẫn tìm kiếm được trọng số buổi tối ưu.

Nhưng máy tính xách tay đâu phải là tôi!!


Máy tính hoàn toàn có thể nhanh sinh sống những tính toán thù truyền thống cuội nguồn. Thế cơ mà hồ hết tính toán, quy tắc dựa trên khái niệm nlỗi đạo hàm, nuốm số, gửi vế đổi lốt vốn được phát minh ra là giành cho con bạn thì sao? Chẳng lẽ mỗi lần làm cho Linear Regression tôi lại buộc phải ngồi rước đạo hàm tiếp đến "nhét" loại bí quyết tôi dùng làm tính $ heta$ vào vật dụng tính? (Vậy thì thật là bất tiện)
Thật sự thì bạn không cần thiết phải làm thay. Ở nội dung bài viết sau tôi sẽ đề cùa đến một thuật toán thù mới góp máy tính xách tay của chúng ta (hầu hết cỗ máy ngu ngốc chỉ biết tuân theo đông đảo mã lệnh khô cứng) hoàn toàn có thể từ bỏ làm việc này nhưng mà không đề nghị sự giúp sức của bọn họ.