AIS Tutorial 5: Supervised Learning

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22polars%22%2C%0A%23%20%20%20%20%20%22pandas%22%2C%0A%23%20%20%20%20%20%22numpy%22%2C%0A%23%20%20%20%20%20%22scikit-learn%22%2C%0A%23%20%20%20%20%20%22plotly%22%2C%0A%23%20%20%20%20%20%22matplotlib%22%2C%0A%23%20%20%20%20%20%22seaborn%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.6%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22AIS%20Tutorial%205%3A%20Supervised%20Learning%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Tutorial%205%3A%20Supervised%20Learning%0A%0A%20%20%20%20This%20tutorial%20provides%20hands-on%20practice%20with%20supervised%20learning%20concepts%20from%20Lecture%206.%0A%0A%20%20%20%20**Topics%3A**%0A%20%20%20%20-%20Train%2Ftest%20split%20and%20cross-validation%0A%20%20%20%20-%20Linear%20regression%20and%20regularization%0A%20%20%20%20-%20Logistic%20regression%20for%20classification%0A%20%20%20%20-%20Evaluation%20metrics%20for%20regression%20and%20classification%0A%20%20%20%20-%20The%20bias-variance%20tradeoff%20in%20practice%0A%0A%20%20%20%20**Exercise%20Types%3A**%0A%20%20%20%20-%20%F0%9F%9F%A1%20**Scaffolded**%3A%20Partial%20solution%20to%20complete%0A%20%20%20%20-%20%F0%9F%94%B5%20**Independent**%3A%20Write%20your%20own%20solution%0A%20%20%20%20-%20%E2%AD%90%20**Challenge**%3A%20Open-ended%20exploration%0A%0A%20%20%20%20---%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Real-World%20Context%3A%20Stripe%20Radar%0A%0A%20%20%20%20Stripe%20processes%20billions%20of%20dollars%20in%20payments%20and%20uses%20machine%20learning%20to%20block%20fraud%20in%20real%20time.%20Their%20system%2C%20**Stripe%20Radar**%2C%20is%20fundamentally%20a%20classification%20problem%20%E2%80%94%20exactly%20what%20you'll%20practice%20today.%20For%20every%20transaction%2C%20the%20model%20predicts%3A%20*legitimate%20or%20fraudulent%3F*%0A%0A%20%20%20%20The%20twist%3A%20fraud%20is%20extremely%20rare%20(%3C1%25%20of%20transactions)%2C%20so%20accuracy%20alone%20is%20misleading.%20Stripe%20cares%20deeply%20about%20**precision**%20(don't%20block%20good%20customers)%20and%20**recall**%20(don't%20miss%20fraud)%20%E2%80%94%20the%20same%20metrics%20you'll%20evaluate%20in%20this%20tutorial.%0A%0A%20%20%20%20**As%20you%20work%20through%20this%20tutorial%2C%20consider%3A**%20What%20happens%20when%20you%20optimize%20for%20precision%20vs.%20recall%20in%20a%20fraud%20detection%20system%3F%20Who%20bears%20the%20cost%20of%20each%20type%20of%20error%3F%0A%0A%20%20%20%20%3E%20Read%20more%3A%20%5BHow%20we%20built%20it%3A%20Stripe%20Radar%5D(https%3A%2F%2Fstripe.com%2Fblog%2Fhow-we-built-it-stripe-radar)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20seaborn%20as%20sns%0A%20%20%20%20import%20plotly.express%20as%20px%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%0A%20%20%20%20from%20sklearn.model_selection%20import%20train_test_split%2C%20cross_val_score%0A%20%20%20%20from%20sklearn.linear_model%20import%20LinearRegression%2C%20Ridge%2C%20Lasso%2C%20LogisticRegression%0A%20%20%20%20from%20sklearn.preprocessing%20import%20StandardScaler%0A%20%20%20%20from%20sklearn.metrics%20import%20(%0A%20%20%20%20%20%20%20%20mean_squared_error%2C%20mean_absolute_error%2C%20r2_score%2C%0A%20%20%20%20%20%20%20%20accuracy_score%2C%20precision_score%2C%20recall_score%2C%20f1_score%2C%0A%20%20%20%20%20%20%20%20confusion_matrix%2C%20classification_report%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Set%20style%0A%20%20%20%20plt.style.use('seaborn-v0_8-whitegrid')%0A%20%20%20%20np.random.seed(42)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20Lasso%2C%0A%20%20%20%20%20%20%20%20LinearRegression%2C%0A%20%20%20%20%20%20%20%20LogisticRegression%2C%0A%20%20%20%20%20%20%20%20Ridge%2C%0A%20%20%20%20%20%20%20%20StandardScaler%2C%0A%20%20%20%20%20%20%20%20accuracy_score%2C%0A%20%20%20%20%20%20%20%20classification_report%2C%0A%20%20%20%20%20%20%20%20confusion_matrix%2C%0A%20%20%20%20%20%20%20%20cross_val_score%2C%0A%20%20%20%20%20%20%20%20mean_absolute_error%2C%0A%20%20%20%20%20%20%20%20mean_squared_error%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20pd%2C%0A%20%20%20%20%20%20%20%20px%2C%0A%20%20%20%20%20%20%20%20r2_score%2C%0A%20%20%20%20%20%20%20%20train_test_split%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Part%201%3A%20Data%20Preparation%0A%0A%20%20%20%20We'll%20use%20two%20datasets%3A%0A%20%20%20%201.%20**California%20Housing**%20-%20for%20regression%20(predict%20house%20prices)%0A%20%20%20%202.%20**Breast%20Cancer%20Wisconsin**%20-%20for%20classification%20(predict%20malignant%2Fbenign)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20sklearn.datasets%20import%20fetch_california_housing%2C%20load_breast_cancer%0A%0A%20%20%20%20%23%20Load%20California%20Housing%20dataset%0A%20%20%20%20housing%20%3D%20fetch_california_housing(as_frame%3DTrue)%0A%20%20%20%20housing_df%20%3D%20housing.frame%0A%20%20%20%20print(%22California%20Housing%20Dataset%3A%22)%0A%20%20%20%20print(f%22%20%20Samples%3A%20%7Blen(housing_df)%7D%22)%0A%20%20%20%20print(f%22%20%20Features%3A%20%7Blist(housing.feature_names)%7D%22)%0A%20%20%20%20print(f%22%20%20Target%3A%20MedHouseVal%20(median%20house%20value%20in%20%24100%2C000s)%22)%0A%20%20%20%20return%20housing%2C%20housing_df%2C%20load_breast_cancer%0A%0A%0A%40app.cell%0Adef%20_(load_breast_cancer)%3A%0A%20%20%20%20%23%20Load%20Breast%20Cancer%20dataset%0A%20%20%20%20cancer%20%3D%20load_breast_cancer(as_frame%3DTrue)%0A%20%20%20%20cancer_df%20%3D%20cancer.frame%0A%20%20%20%20print(%22%5CnBreast%20Cancer%20Wisconsin%20Dataset%3A%22)%0A%20%20%20%20print(f%22%20%20Samples%3A%20%7Blen(cancer_df)%7D%22)%0A%20%20%20%20print(f%22%20%20Features%3A%20%7Blen(cancer.feature_names)%7D%20measurements%22)%0A%20%20%20%20print(f%22%20%20Target%3A%200%3Dmalignant%2C%201%3Dbenign%22)%0A%20%20%20%20print(f%22%20%20Class%20distribution%3A%20%7Bcancer_df%5B'target'%5D.value_counts().to_dict()%7D%22)%0A%20%20%20%20return%20(cancer%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%201.1%3A%20Explore%20the%20Data%0A%0A%20%20%20%20Let's%20look%20at%20the%20housing%20dataset%20more%20closely%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(housing_df)%3A%0A%20%20%20%20housing_df.head()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(housing_df)%3A%0A%20%20%20%20housing_df.describe()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Part%202%3A%20Train-Test%20Split%0A%0A%20%20%20%20The%20foundation%20of%20ML%20evaluation%3A%20never%20test%20on%20training%20data!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%202.1%3A%20Basic%20Train-Test%20Split%0A%0A%20%20%20%20Split%20the%20housing%20data%20into%20training%20and%20test%20sets%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(housing%2C%20train_test_split)%3A%0A%20%20%20%20%23%20Get%20features%20and%20target%0A%20%20%20%20X_housing%20%3D%20housing.data%0A%20%20%20%20y_housing%20%3D%20housing.target%0A%0A%20%20%20%20%23%20Split%20the%20data%3A%2080%25%20train%2C%2020%25%20test%0A%20%20%20%20X_train%2C%20X_test%2C%20y_train%2C%20y_test%20%3D%20train_test_split(%0A%20%20%20%20%20%20%20%20X_housing%2C%20y_housing%2C%0A%20%20%20%20%20%20%20%20test_size%3D0.2%2C%0A%20%20%20%20%20%20%20%20random_state%3D42%0A%20%20%20%20)%0A%0A%20%20%20%20print(f%22Training%20set%20size%3A%20%7Blen(X_train)%7D%22)%0A%20%20%20%20print(f%22Test%20set%20size%3A%20%7Blen(X_test)%7D%22)%0A%20%20%20%20print(f%22Training%20proportion%3A%20%7Blen(X_train)%20%2F%20len(X_housing)%3A.1%25%7D%22)%0A%20%20%20%20return%20X_housing%2C%20X_test%2C%20X_train%2C%20y_housing%2C%20y_test%2C%20y_train%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%94%B5%20Exercise%202.2%3A%20Classification%20Split%20with%20Stratification%0A%0A%20%20%20%20For%20classification%20problems%20with%20imbalanced%20classes%2C%20we%20should%20use%20stratified%20sampling%20to%20maintain%20class%20proportions.%0A%0A%20%20%20%20Split%20the%20cancer%20dataset%20with%20stratification%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(cancer)%3A%0A%20%20%20%20%23%20Get%20features%20and%20target%0A%20%20%20%20X_cancer%20%3D%20cancer.data%0A%20%20%20%20y_cancer%20%3D%20cancer.target%0A%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%3A%20Split%20with%20stratification%0A%20%20%20%20%23%20Use%20train_test_split%20with%20test_size%3D0.2%2C%20random_state%3D42%0A%20%20%20%20%23%20Hint%3A%20use%20the%20stratify%3D%20parameter%20to%20maintain%20class%20proportions%0A%20%20%20%20%23%20Store%20results%20in%3A%20X_train_c%2C%20X_test_c%2C%20y_train_c%2C%20y_test_c%0A%0A%20%20%20%20%23%20Then%20print%20class%20distributions%20to%20verify%20stratification%20worked%3A%0A%20%20%20%20%23%20-%20Original%20distribution%20of%20y_cancer%0A%20%20%20%20%23%20-%20Test%20set%20distribution%20of%20y_test_c%0A%20%20%20%20%23%20Hint%3A%20(y_cancer%20%3D%3D%200).sum()%20counts%20class%200%2C%20.mean()%20gives%20proportion%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Part%203%3A%20Linear%20Regression%0A%0A%20%20%20%20Let's%20build%20and%20evaluate%20a%20linear%20regression%20model.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%203.1%3A%20Train%20a%20Linear%20Regression%20Model%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(LinearRegression%2C%20X_test%2C%20X_train%2C%20y_train)%3A%0A%20%20%20%20%23%20Create%20and%20train%20the%20model%0A%20%20%20%20lr_model%20%3D%20LinearRegression()%0A%20%20%20%20lr_model.fit(X_train%2C%20y_train)%0A%0A%20%20%20%20%23%20Make%20predictions%0A%20%20%20%20y_pred_train%20%3D%20lr_model.predict(X_train)%0A%20%20%20%20y_pred_test%20%3D%20lr_model.predict(X_test)%0A%0A%20%20%20%20print(%22Model%20trained!%22)%0A%20%20%20%20print(f%22Intercept%3A%20%7Blr_model.intercept_%3A.4f%7D%22)%0A%20%20%20%20print(f%22Number%20of%20coefficients%3A%20%7Blen(lr_model.coef_)%7D%22)%0A%20%20%20%20return%20lr_model%2C%20y_pred_test%2C%20y_pred_train%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%9F%A1%20Exercise%203.2%3A%20Evaluate%20Regression%20Performance%0A%0A%20%20%20%20Calculate%20the%20evaluation%20metrics%20for%20our%20model%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20mean_absolute_error%2C%0A%20%20%20%20mean_squared_error%2C%0A%20%20%20%20np%2C%0A%20%20%20%20r2_score%2C%0A%20%20%20%20y_pred_test%2C%0A%20%20%20%20y_pred_train%2C%0A%20%20%20%20y_test%2C%0A%20%20%20%20y_train%2C%0A)%3A%0A%20%20%20%20%23%20Calculate%20metrics%20for%20training%20set%0A%20%20%20%20train_mse%20%3D%20mean_squared_error(y_train%2C%20y_pred_train)%0A%20%20%20%20train_rmse%20%3D%20np.sqrt(train_mse)%0A%20%20%20%20train_mae%20%3D%20mean_absolute_error(y_train%2C%20y_pred_train)%0A%20%20%20%20train_r2%20%3D%20r2_score(y_train%2C%20y_pred_train)%0A%0A%20%20%20%20%23%20Calculate%20metrics%20for%20test%20set%0A%20%20%20%20test_mse%20%3D%20mean_squared_error(y_test%2C%20y_pred_test)%0A%20%20%20%20test_rmse%20%3D%20np.sqrt(test_mse)%0A%20%20%20%20test_mae%20%3D%20mean_absolute_error(y_test%2C%20y_pred_test)%0A%20%20%20%20test_r2%20%3D%20r2_score(y_test%2C%20y_pred_test)%0A%0A%20%20%20%20print(%22Training%20Set%20Performance%3A%22)%0A%20%20%20%20print(f%22%20%20RMSE%3A%20%7Btrain_rmse%3A.4f%7D%22)%0A%20%20%20%20print(f%22%20%20MAE%3A%20%20%7Btrain_mae%3A.4f%7D%22)%0A%20%20%20%20print(f%22%20%20R%C2%B2%3A%20%20%20%7Btrain_r2%3A.4f%7D%22)%0A%0A%20%20%20%20print(%22%5CnTest%20Set%20Performance%3A%22)%0A%20%20%20%20print(f%22%20%20RMSE%3A%20%7Btest_rmse%3A.4f%7D%22)%0A%20%20%20%20print(f%22%20%20MAE%3A%20%20%7Btest_mae%3A.4f%7D%22)%0A%20%20%20%20print(f%22%20%20R%C2%B2%3A%20%20%20%7Btest_r2%3A.4f%7D%22)%0A%0A%20%20%20%20print(f%22%5CnNote%3A%20Target%20is%20in%20units%20of%20%24100%2C000%22)%0A%20%20%20%20print(f%22So%20RMSE%20of%20%7Btest_rmse%3A.2f%7D%20means%20~%24%7Btest_rmse%20*%20100000%3A%2C.0f%7D%20typical%20error%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%203.3%3A%20Visualize%20Predictions%20vs%20Actual%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(px%2C%20y_pred_test%2C%20y_test)%3A%0A%20%20%20%20%23%20Scatter%20plot%3A%20predicted%20vs%20actual%0A%20%20%20%20fig_pred%20%3D%20px.scatter(%0A%20%20%20%20%20%20%20%20x%3Dy_test%2C%0A%20%20%20%20%20%20%20%20y%3Dy_pred_test%2C%0A%20%20%20%20%20%20%20%20labels%3D%7B%22x%22%3A%20%22Actual%20Value%22%2C%20%22y%22%3A%20%22Predicted%20Value%22%7D%2C%0A%20%20%20%20%20%20%20%20title%3D%22Linear%20Regression%3A%20Predicted%20vs%20Actual%20(Test%20Set)%22%2C%0A%20%20%20%20%20%20%20%20opacity%3D0.5%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Add%20perfect%20prediction%20line%0A%20%20%20%20fig_pred.add_shape(%0A%20%20%20%20%20%20%20%20type%3D%22line%22%2C%0A%20%20%20%20%20%20%20%20x0%3Dy_test.min()%2C%20y0%3Dy_test.min()%2C%0A%20%20%20%20%20%20%20%20x1%3Dy_test.max()%2C%20y1%3Dy_test.max()%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22red%22%2C%20dash%3D%22dash%22)%0A%20%20%20%20)%0A%0A%20%20%20%20fig_pred.update_layout(%0A%20%20%20%20%20%20%20%20xaxis_title%3D%22Actual%20House%20Value%20(%24100k)%22%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D%22Predicted%20House%20Value%20(%24100k)%22%0A%20%20%20%20)%0A%0A%20%20%20%20fig_pred%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%94%B5%20Exercise%203.4%3A%20Feature%20Importance%0A%0A%20%20%20%20Examine%20which%20features%20have%20the%20largest%20coefficients%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(housing%2C%20lr_model%2C%20pd%2C%20px)%3A%0A%20%20%20%20%23%20Create%20DataFrame%20of%20coefficients%0A%20%20%20%20coef_df%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20'feature'%3A%20housing.feature_names%2C%0A%20%20%20%20%20%20%20%20'coefficient'%3A%20lr_model.coef_%0A%20%20%20%20%7D).sort_values('coefficient'%2C%20key%3Dabs%2C%20ascending%3DTrue)%0A%0A%20%20%20%20%23%20Plot%0A%20%20%20%20fig_coef%20%3D%20px.bar(%0A%20%20%20%20%20%20%20%20coef_df%2C%0A%20%20%20%20%20%20%20%20x%3D'coefficient'%2C%0A%20%20%20%20%20%20%20%20y%3D'feature'%2C%0A%20%20%20%20%20%20%20%20orientation%3D'h'%2C%0A%20%20%20%20%20%20%20%20title%3D'Linear%20Regression%20Coefficients'%2C%0A%20%20%20%20%20%20%20%20color%3D'coefficient'%2C%0A%20%20%20%20%20%20%20%20color_continuous_scale%3D'RdBu_r'%2C%0A%20%20%20%20%20%20%20%20color_continuous_midpoint%3D0%0A%20%20%20%20)%0A%20%20%20%20fig_coef%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Part%204%3A%20Regularization%0A%0A%20%20%20%20Regularization%20helps%20prevent%20overfitting%20by%20penalizing%20large%20coefficients.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%204.1%3A%20Feature%20Scaling%0A%0A%20%20%20%20For%20regularization%20to%20work%20properly%2C%20we%20need%20to%20scale%20our%20features%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(StandardScaler%2C%20X_test%2C%20X_train)%3A%0A%20%20%20%20%23%20Create%20and%20fit%20scaler%20on%20training%20data%20only%0A%20%20%20%20scaler%20%3D%20StandardScaler()%0A%20%20%20%20X_train_scaled%20%3D%20scaler.fit_transform(X_train)%0A%20%20%20%20X_test_scaled%20%3D%20scaler.transform(X_test)%20%20%23%20Use%20same%20transformation%0A%0A%20%20%20%20print(%22Feature%20scaling%20applied!%22)%0A%20%20%20%20print(f%22Training%20mean%20(should%20be%20~0)%3A%20%7BX_train_scaled.mean(axis%3D0).round(2)%7D%22)%0A%20%20%20%20print(f%22Training%20std%20(should%20be%20~1)%3A%20%7BX_train_scaled.std(axis%3D0).round(2)%7D%22)%0A%20%20%20%20return%20X_test_scaled%2C%20X_train_scaled%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%9F%A1%20Exercise%204.2%3A%20Compare%20Linear%2C%20Ridge%2C%20and%20Lasso%0A%0A%20%20%20%20Train%20all%20three%20models%20and%20compare%20their%20performance%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20Lasso%2C%0A%20%20%20%20LinearRegression%2C%0A%20%20%20%20Ridge%2C%0A%20%20%20%20X_test_scaled%2C%0A%20%20%20%20X_train_scaled%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20r2_score%2C%0A%20%20%20%20y_test%2C%0A%20%20%20%20y_train%2C%0A)%3A%0A%20%20%20%20%23%20Train%20models%0A%20%20%20%20models%20%3D%20%7B%0A%20%20%20%20%20%20%20%20'Linear'%3A%20LinearRegression()%2C%0A%20%20%20%20%20%20%20%20'Ridge%20(%CE%B1%3D1)'%3A%20Ridge(alpha%3D1.0)%2C%0A%20%20%20%20%20%20%20%20'Ridge%20(%CE%B1%3D10)'%3A%20Ridge(alpha%3D10.0)%2C%0A%20%20%20%20%20%20%20%20'Lasso%20(%CE%B1%3D0.01)'%3A%20Lasso(alpha%3D0.01)%2C%0A%20%20%20%20%20%20%20%20'Lasso%20(%CE%B1%3D0.1)'%3A%20Lasso(alpha%3D0.1)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20results%20%3D%20%5B%5D%0A%20%20%20%20for%20name%2C%20model%20in%20models.items()%3A%0A%20%20%20%20%20%20%20%20model.fit(X_train_scaled%2C%20y_train)%0A%20%20%20%20%20%20%20%20train_r2%20%3D%20r2_score(y_train%2C%20model.predict(X_train_scaled))%0A%20%20%20%20%20%20%20%20test_r2%20%3D%20r2_score(y_test%2C%20model.predict(X_test_scaled))%0A%20%20%20%20%20%20%20%20n_nonzero%20%3D%20np.sum(np.abs(model.coef_)%20%3E%200.001)%0A%0A%20%20%20%20%20%20%20%20results.append(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'Model'%3A%20name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'Train%20R%C2%B2'%3A%20train_r2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'Test%20R%C2%B2'%3A%20test_r2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'Non-zero%20coefs'%3A%20n_nonzero%0A%20%20%20%20%20%20%20%20%7D)%0A%0A%20%20%20%20results_df%20%3D%20pd.DataFrame(results)%0A%20%20%20%20results_df%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%E2%AD%90%20Challenge%204.3%3A%20Find%20Optimal%20Regularization%0A%0A%20%20%20%20Use%20cross-validation%20to%20find%20the%20best%20regularization%20strength%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pd)%3A%0A%20%20%20%20%23%20Try%20different%20alpha%20values%0A%20%20%20%20alphas%20%3D%20np.logspace(-3%2C%203%2C%2020)%20%20%23%200.001%20to%201000%0A%20%20%20%20cv_scores%20%3D%20%5B%5D%0A%0A%20%20%20%20for%20alpha%20in%20alphas%3A%0A%20%20%20%20%20%20%20%20%23%20YOUR%20CODE%20HERE%3A%20For%20each%20alpha%20value...%0A%20%20%20%20%20%20%20%20%23%201.%20Create%20a%20Ridge(alpha%3Dalpha)%20model%0A%20%20%20%20%20%20%20%20%23%202.%20Use%20cross_val_score%20with%20cv%3D5%20and%20scoring%3D'r2'%20on%20scaled%20training%20data%0A%20%20%20%20%20%20%20%20%23%203.%20Append%20a%20dict%20with%20'alpha'%2C%20'mean_r2'%2C%20'std_r2'%20to%20cv_scores%0A%20%20%20%20%20%20%20%20pass%0A%0A%20%20%20%20cv_df%20%3D%20pd.DataFrame(cv_scores)%0A%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%3A%20Create%20a%20line%20plot%20of%20mean_r2%20vs%20alpha%0A%20%20%20%20%23%20Hint%3A%20use%20px.line%20with%20log_x%3DTrue%20and%20markers%3DTrue%0A%20%20%20%20return%20(cv_df%2C)%0A%0A%0A%40app.cell%0Adef%20_(cv_df)%3A%0A%20%20%20%20%23%20Find%20best%20alpha%0A%20%20%20%20best_idx%20%3D%20cv_df%5B'mean_r2'%5D.idxmax()%0A%20%20%20%20best_alpha%20%3D%20cv_df.loc%5Bbest_idx%2C%20'alpha'%5D%0A%20%20%20%20best_score%20%3D%20cv_df.loc%5Bbest_idx%2C%20'mean_r2'%5D%0A%20%20%20%20print(f%22Best%20alpha%3A%20%7Bbest_alpha%3A.4f%7D%22)%0A%20%20%20%20print(f%22Best%20CV%20R%C2%B2%3A%20%7Bbest_score%3A.4f%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Part%205%3A%20Classification%20with%20Logistic%20Regression%0A%0A%20%20%20%20Now%20let's%20work%20with%20the%20breast%20cancer%20classification%20problem.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%205.1%3A%20Train%20a%20Logistic%20Regression%20Model%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(LogisticRegression%2C%20StandardScaler%2C%20X_test_c%2C%20X_train_c%2C%20y_train_c)%3A%0A%20%20%20%20%23%20Scale%20features%0A%20%20%20%20scaler_c%20%3D%20StandardScaler()%0A%20%20%20%20X_train_c_scaled%20%3D%20scaler_c.fit_transform(X_train_c)%0A%20%20%20%20X_test_c_scaled%20%3D%20scaler_c.transform(X_test_c)%0A%0A%20%20%20%20%23%20Train%20logistic%20regression%0A%20%20%20%20log_reg%20%3D%20LogisticRegression(max_iter%3D1000%2C%20random_state%3D42)%0A%20%20%20%20log_reg.fit(X_train_c_scaled%2C%20y_train_c)%0A%0A%20%20%20%20print(%22Logistic%20Regression%20trained!%22)%0A%20%20%20%20return%20X_test_c_scaled%2C%20X_train_c_scaled%2C%20log_reg%2C%20scaler_c%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%9F%A1%20Exercise%205.2%3A%20Make%20Predictions%20and%20Get%20Probabilities%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(X_test_c_scaled%2C%20log_reg%2C%20pd)%3A%0A%20%20%20%20%23%20Predict%20classes%0A%20%20%20%20y_pred_c%20%3D%20log_reg.predict(X_test_c_scaled)%0A%0A%20%20%20%20%23%20Predict%20probabilities%0A%20%20%20%20y_prob_c%20%3D%20log_reg.predict_proba(X_test_c_scaled)%0A%0A%20%20%20%20%23%20Show%20first%205%20predictions%20with%20probabilities%0A%20%20%20%20pred_sample%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20'Predicted%20Class'%3A%20y_pred_c%5B%3A5%5D%2C%0A%20%20%20%20%20%20%20%20'P(Malignant)'%3A%20y_prob_c%5B%3A5%2C%200%5D.round(3)%2C%0A%20%20%20%20%20%20%20%20'P(Benign)'%3A%20y_prob_c%5B%3A5%2C%201%5D.round(3)%0A%20%20%20%20%7D)%0A%20%20%20%20print(%22Sample%20predictions%3A%22)%0A%20%20%20%20print(pred_sample.to_string(index%3DFalse))%0A%20%20%20%20return%20(y_pred_c%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%205.3%3A%20Confusion%20Matrix%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(confusion_matrix%2C%20pd%2C%20px%2C%20y_pred_c%2C%20y_test_c)%3A%0A%20%20%20%20%23%20Calculate%20confusion%20matrix%0A%20%20%20%20cm%20%3D%20confusion_matrix(y_test_c%2C%20y_pred_c)%0A%0A%20%20%20%20%23%20Create%20heatmap%0A%20%20%20%20cm_df%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20cm%2C%0A%20%20%20%20%20%20%20%20index%3D%5B'Actual%20Malignant'%2C%20'Actual%20Benign'%5D%2C%0A%20%20%20%20%20%20%20%20columns%3D%5B'Pred%20Malignant'%2C%20'Pred%20Benign'%5D%0A%20%20%20%20)%0A%0A%20%20%20%20fig_cm%20%3D%20px.imshow(%0A%20%20%20%20%20%20%20%20cm%2C%0A%20%20%20%20%20%20%20%20labels%3Ddict(x%3D%22Predicted%22%2C%20y%3D%22Actual%22%2C%20color%3D%22Count%22)%2C%0A%20%20%20%20%20%20%20%20x%3D%5B'Malignant%20(0)'%2C%20'Benign%20(1)'%5D%2C%0A%20%20%20%20%20%20%20%20y%3D%5B'Malignant%20(0)'%2C%20'Benign%20(1)'%5D%2C%0A%20%20%20%20%20%20%20%20title%3D'Confusion%20Matrix'%2C%0A%20%20%20%20%20%20%20%20text_auto%3DTrue%2C%0A%20%20%20%20%20%20%20%20color_continuous_scale%3D'Blues'%0A%20%20%20%20)%0A%20%20%20%20fig_cm%0A%20%20%20%20return%20(cm%2C)%0A%0A%0A%40app.cell%0Adef%20_(cm)%3A%0A%20%20%20%20%23%20Extract%20values%0A%20%20%20%20tn%2C%20fp%2C%20fn%2C%20tp%20%3D%20cm.ravel()%0A%20%20%20%20print(f%22True%20Negatives%20(correct%20malignant)%3A%20%7Btn%7D%22)%0A%20%20%20%20print(f%22False%20Positives%20(predicted%20benign%2C%20was%20malignant)%3A%20%7Bfp%7D%22)%0A%20%20%20%20print(f%22False%20Negatives%20(predicted%20malignant%2C%20was%20benign)%3A%20%7Bfn%7D%22)%0A%20%20%20%20print(f%22True%20Positives%20(correct%20benign)%3A%20%7Btp%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%94%B5%20Exercise%205.4%3A%20Calculate%20Classification%20Metrics%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20YOUR%20CODE%20HERE%3A%20Calculate%20four%20classification%20metrics%0A%20%20%20%20%23%20Use%3A%20accuracy_score%2C%20precision_score%2C%20recall_score%2C%20f1_score%0A%20%20%20%20%23%20Each%20takes%20(y_true%2C%20y_pred)%20as%20arguments%0A%20%20%20%20%23%20Store%20in%20variables%3A%20accuracy%2C%20precision%2C%20recall%2C%20f1%0A%20%20%20%20%23%20Print%20all%20four%20metrics%20formatted%20to%203%20decimal%20places%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(classification_report%2C%20y_pred_c%2C%20y_test_c)%3A%0A%20%20%20%20%23%20Full%20classification%20report%0A%20%20%20%20print(%22Full%20Classification%20Report%3A%22)%0A%20%20%20%20print(classification_report(y_test_c%2C%20y_pred_c%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20target_names%3D%5B'Malignant'%2C%20'Benign'%5D))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Part%206%3A%20Cross-Validation%0A%0A%20%20%20%20Get%20more%20robust%20performance%20estimates%20using%20k-fold%20cross-validation.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%206.1%3A%20k-Fold%20Cross-Validation%20for%20Regression%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(LinearRegression%2C%20X_train_scaled%2C%20cross_val_score%2C%20y_train)%3A%0A%20%20%20%20%23%205-fold%20cross-validation%20for%20linear%20regression%0A%20%20%20%20lr_cv%20%3D%20LinearRegression()%0A%20%20%20%20cv_scores_reg%20%3D%20cross_val_score(lr_cv%2C%20X_train_scaled%2C%20y_train%2C%20cv%3D5%2C%20scoring%3D'r2')%0A%0A%20%20%20%20print(%225-Fold%20Cross-Validation%20Results%20(Linear%20Regression)%3A%22)%0A%20%20%20%20print(f%22%20%20Fold%20scores%3A%20%7Bcv_scores_reg.round(4)%7D%22)%0A%20%20%20%20print(f%22%20%20Mean%20R%C2%B2%3A%20%7Bcv_scores_reg.mean()%3A.4f%7D%22)%0A%20%20%20%20print(f%22%20%20Std%20R%C2%B2%3A%20%20%7Bcv_scores_reg.std()%3A.4f%7D%22)%0A%20%20%20%20print(f%22%5CnThis%20gives%20us%20confidence%20interval%3A%20%7Bcv_scores_reg.mean()%3A.3f%7D%20%C2%B1%20%7Bcv_scores_reg.std()*2%3A.3f%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%94%B5%20Exercise%206.2%3A%20k-Fold%20Cross-Validation%20for%20Classification%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(LogisticRegression%2C%20X_train_c_scaled%2C%20cross_val_score%2C%20y_train_c)%3A%0A%20%20%20%20%23%205-fold%20cross-validation%20for%20logistic%20regression%0A%20%20%20%20log_cv%20%3D%20LogisticRegression(max_iter%3D1000%2C%20random_state%3D42)%0A%0A%20%20%20%20%23%20Multiple%20metrics%0A%20%20%20%20cv_accuracy%20%3D%20cross_val_score(log_cv%2C%20X_train_c_scaled%2C%20y_train_c%2C%20cv%3D5%2C%20scoring%3D'accuracy')%0A%20%20%20%20cv_precision%20%3D%20cross_val_score(log_cv%2C%20X_train_c_scaled%2C%20y_train_c%2C%20cv%3D5%2C%20scoring%3D'precision')%0A%20%20%20%20cv_recall%20%3D%20cross_val_score(log_cv%2C%20X_train_c_scaled%2C%20y_train_c%2C%20cv%3D5%2C%20scoring%3D'recall')%0A%20%20%20%20cv_f1%20%3D%20cross_val_score(log_cv%2C%20X_train_c_scaled%2C%20y_train_c%2C%20cv%3D5%2C%20scoring%3D'f1')%0A%0A%20%20%20%20print(%225-Fold%20Cross-Validation%20Results%20(Logistic%20Regression)%3A%22)%0A%20%20%20%20print(f%22%20%20Accuracy%3A%20%20%7Bcv_accuracy.mean()%3A.3f%7D%20%C2%B1%20%7Bcv_accuracy.std()%3A.3f%7D%22)%0A%20%20%20%20print(f%22%20%20Precision%3A%20%7Bcv_precision.mean()%3A.3f%7D%20%C2%B1%20%7Bcv_precision.std()%3A.3f%7D%22)%0A%20%20%20%20print(f%22%20%20Recall%3A%20%20%20%20%7Bcv_recall.mean()%3A.3f%7D%20%C2%B1%20%7Bcv_recall.std()%3A.3f%7D%22)%0A%20%20%20%20print(f%22%20%20F1%3A%20%20%20%20%20%20%20%20%7Bcv_f1.mean()%3A.3f%7D%20%C2%B1%20%7Bcv_f1.std()%3A.3f%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Part%207%3A%20The%20Bias-Variance%20Tradeoff%20in%20Practice%0A%0A%20%20%20%20Let's%20see%20overfitting%20and%20underfitting%20in%20action.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%E2%AD%90%20Challenge%207.1%3A%20Polynomial%20Features%20and%20Overfitting%0A%0A%20%20%20%20We'll%20create%20polynomial%20features%20to%20demonstrate%20overfitting%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20from%20sklearn.preprocessing%20import%20PolynomialFeatures%0A%20%20%20%20from%20sklearn.pipeline%20import%20make_pipeline%0A%0A%20%20%20%20%23%20Create%20simple%201D%20dataset%0A%20%20%20%20np.random.seed(42)%0A%20%20%20%20n_samples%20%3D%2030%0A%20%20%20%20X_simple%20%3D%20np.linspace(0%2C%201%2C%20n_samples).reshape(-1%2C%201)%0A%20%20%20%20y_simple%20%3D%20np.sin(2%20*%20np.pi%20*%20X_simple).ravel()%20%2B%20np.random.normal(0%2C%200.2%2C%20n_samples)%0A%0A%20%20%20%20%23%20Split%0A%20%20%20%20X_s_train%2C%20X_s_test%20%3D%20X_simple%5B%3A20%5D%2C%20X_simple%5B20%3A%5D%0A%20%20%20%20y_s_train%2C%20y_s_test%20%3D%20y_simple%5B%3A20%5D%2C%20y_simple%5B20%3A%5D%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20PolynomialFeatures%2C%0A%20%20%20%20%20%20%20%20X_s_test%2C%0A%20%20%20%20%20%20%20%20X_s_train%2C%0A%20%20%20%20%20%20%20%20make_pipeline%2C%0A%20%20%20%20%20%20%20%20y_s_test%2C%0A%20%20%20%20%20%20%20%20y_s_train%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20LinearRegression%2C%0A%20%20%20%20PolynomialFeatures%2C%0A%20%20%20%20X_s_test%2C%0A%20%20%20%20X_s_train%2C%0A%20%20%20%20make_pipeline%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20r2_score%2C%0A%20%20%20%20y_s_test%2C%0A%20%20%20%20y_s_train%2C%0A)%3A%0A%20%20%20%20%23%20Fit%20polynomials%20of%20different%20degrees%0A%20%20%20%20degrees%20%3D%20%5B1%2C%203%2C%2015%5D%0A%20%20%20%20X_plot%20%3D%20np.linspace(0%2C%201%2C%20100).reshape(-1%2C%201)%0A%0A%20%20%20%20results_poly%20%3D%20%5B%5D%0A%20%20%20%20predictions%20%3D%20%7B%7D%0A%0A%20%20%20%20for%20degree%20in%20degrees%3A%0A%20%20%20%20%20%20%20%20model%20%3D%20make_pipeline(%0A%20%20%20%20%20%20%20%20%20%20%20%20PolynomialFeatures(degree)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20LinearRegression()%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20model.fit(X_s_train%2C%20y_s_train)%0A%0A%20%20%20%20%20%20%20%20train_r2%20%3D%20r2_score(y_s_train%2C%20model.predict(X_s_train))%0A%20%20%20%20%20%20%20%20test_r2%20%3D%20r2_score(y_s_test%2C%20model.predict(X_s_test))%0A%0A%20%20%20%20%20%20%20%20results_poly.append(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'Degree'%3A%20degree%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'Train%20R%C2%B2'%3A%20train_r2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'Test%20R%C2%B2'%3A%20test_r2%0A%20%20%20%20%20%20%20%20%7D)%0A%0A%20%20%20%20%20%20%20%20predictions%5Bf'Degree%20%7Bdegree%7D'%5D%20%3D%20model.predict(X_plot)%0A%0A%20%20%20%20results_poly_df%20%3D%20pd.DataFrame(results_poly)%0A%20%20%20%20print(results_poly_df.to_string(index%3DFalse))%0A%20%20%20%20return%20X_plot%2C%20predictions%0A%0A%0A%40app.cell%0Adef%20_(X_plot%2C%20X_s_test%2C%20X_s_train%2C%20np%2C%20predictions%2C%20y_s_test%2C%20y_s_train)%3A%0A%20%20%20%20%23%20Create%20visualization%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%0A%20%20%20%20fig_poly%20%3D%20go.Figure()%0A%0A%20%20%20%20%23%20Training%20points%0A%20%20%20%20fig_poly.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3DX_s_train.ravel()%2C%20y%3Dy_s_train%2C%0A%20%20%20%20%20%20%20%20mode%3D'markers'%2C%20name%3D'Training%20data'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'blue'%2C%20size%3D8)%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Test%20points%0A%20%20%20%20fig_poly.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3DX_s_test.ravel()%2C%20y%3Dy_s_test%2C%0A%20%20%20%20%20%20%20%20mode%3D'markers'%2C%20name%3D'Test%20data'%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(color%3D'red'%2C%20size%3D8%2C%20symbol%3D'x')%0A%20%20%20%20))%0A%0A%20%20%20%20%23%20Fitted%20curves%0A%20%20%20%20colors%20%3D%20%5B'green'%2C%20'orange'%2C%20'purple'%5D%0A%20%20%20%20for%20i%2C%20(name%2C%20y_pred)%20in%20enumerate(predictions.items())%3A%0A%20%20%20%20%20%20%20%20fig_poly.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3DX_plot.ravel()%2C%20y%3Dy_pred%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'lines'%2C%20name%3Dname%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3Dcolors%5Bi%5D%2C%20width%3D2)%0A%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%23%20True%20function%0A%20%20%20%20fig_poly.add_trace(go.Scatter(%0A%20%20%20%20%20%20%20%20x%3DX_plot.ravel()%2C%20y%3Dnp.sin(2%20*%20np.pi%20*%20X_plot).ravel()%2C%0A%20%20%20%20%20%20%20%20mode%3D'lines'%2C%20name%3D'True%20function'%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3D'black'%2C%20dash%3D'dash'%2C%20width%3D1)%0A%20%20%20%20))%0A%0A%20%20%20%20fig_poly.update_layout(%0A%20%20%20%20%20%20%20%20title%3D'Bias-Variance%20Tradeoff%3A%20Polynomial%20Regression'%2C%0A%20%20%20%20%20%20%20%20xaxis_title%3D'X'%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D'y'%0A%20%20%20%20)%0A%0A%20%20%20%20fig_poly%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Part%208%3A%20Putting%20It%20All%20Together%0A%0A%20%20%20%20A%20complete%20ML%20workflow%20example.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%E2%AD%90%20Challenge%208.1%3A%20Complete%20ML%20Pipeline%0A%0A%20%20%20%20Build%20a%20complete%20pipeline%20for%20the%20housing%20dataset%3A%0A%20%20%20%201.%20Split%20data%0A%20%20%20%202.%20Scale%20features%0A%20%20%20%203.%20Try%20multiple%20models%20with%20cross-validation%0A%20%20%20%204.%20Select%20best%20model%0A%20%20%20%205.%20Evaluate%20on%20test%20set%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20Lasso%2C%0A%20%20%20%20LinearRegression%2C%0A%20%20%20%20Ridge%2C%0A%20%20%20%20StandardScaler%2C%0A%20%20%20%20X_housing%2C%0A%20%20%20%20cross_val_score%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20train_test_split%2C%0A%20%20%20%20y_housing%2C%0A)%3A%0A%20%20%20%20%23%20Step%201%3A%20Split%20data%0A%20%20%20%20X_tr%2C%20X_te%2C%20y_tr%2C%20y_te%20%3D%20train_test_split(%0A%20%20%20%20%20%20%20%20X_housing%2C%20y_housing%2C%20test_size%3D0.2%2C%20random_state%3D42%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Step%202%3A%20Scale%20features%0A%20%20%20%20sc%20%3D%20StandardScaler()%0A%20%20%20%20X_tr_sc%20%3D%20sc.fit_transform(X_tr)%0A%20%20%20%20X_te_sc%20%3D%20sc.transform(X_te)%0A%0A%20%20%20%20%23%20Step%203%3A%20Cross-validate%20multiple%20models%0A%20%20%20%20candidates%20%3D%20%7B%0A%20%20%20%20%20%20%20%20'Linear%20Regression'%3A%20LinearRegression()%2C%0A%20%20%20%20%20%20%20%20'Ridge%20(%CE%B1%3D0.1)'%3A%20Ridge(alpha%3D0.1)%2C%0A%20%20%20%20%20%20%20%20'Ridge%20(%CE%B1%3D1.0)'%3A%20Ridge(alpha%3D1.0)%2C%0A%20%20%20%20%20%20%20%20'Ridge%20(%CE%B1%3D10)'%3A%20Ridge(alpha%3D10.0)%2C%0A%20%20%20%20%20%20%20%20'Lasso%20(%CE%B1%3D0.001)'%3A%20Lasso(alpha%3D0.001)%2C%0A%20%20%20%20%20%20%20%20'Lasso%20(%CE%B1%3D0.01)'%3A%20Lasso(alpha%3D0.01)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20cv_results%20%3D%20%5B%5D%0A%20%20%20%20for%20name%2C%20model%20in%20candidates.items()%3A%0A%20%20%20%20%20%20%20%20scores%20%3D%20cross_val_score(model%2C%20X_tr_sc%2C%20y_tr%2C%20cv%3D5%2C%20scoring%3D'r2')%0A%20%20%20%20%20%20%20%20cv_results.append(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'Model'%3A%20name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'CV%20Mean%20R%C2%B2'%3A%20scores.mean()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'CV%20Std'%3A%20scores.std()%0A%20%20%20%20%20%20%20%20%7D)%0A%0A%20%20%20%20cv_results_df%20%3D%20pd.DataFrame(cv_results).sort_values('CV%20Mean%20R%C2%B2'%2C%20ascending%3DFalse)%0A%20%20%20%20print(%22Cross-Validation%20Results%3A%22)%0A%20%20%20%20print(cv_results_df.to_string(index%3DFalse))%0A%20%20%20%20return%20X_te_sc%2C%20X_tr_sc%2C%20candidates%2C%20cv_results_df%2C%20y_te%2C%20y_tr%0A%0A%0A%40app.cell%0Adef%20_(X_te_sc%2C%20X_tr_sc%2C%20candidates%2C%20cv_results_df%2C%20r2_score%2C%20y_te%2C%20y_tr)%3A%0A%20%20%20%20%23%20Step%204%3A%20Select%20and%20train%20best%20model%0A%20%20%20%20best_model_name%20%3D%20cv_results_df.iloc%5B0%5D%5B'Model'%5D%0A%20%20%20%20print(f%22%5CnBest%20model%3A%20%7Bbest_model_name%7D%22)%0A%0A%20%20%20%20%23%20Step%205%3A%20Train%20on%20full%20training%20set%20and%20evaluate%20on%20test%20set%0A%20%20%20%20best_model%20%3D%20candidates%5Bbest_model_name%5D%0A%20%20%20%20best_model.fit(X_tr_sc%2C%20y_tr)%0A%0A%20%20%20%20final_train_r2%20%3D%20r2_score(y_tr%2C%20best_model.predict(X_tr_sc))%0A%20%20%20%20final_test_r2%20%3D%20r2_score(y_te%2C%20best_model.predict(X_te_sc))%0A%0A%20%20%20%20print(f%22%5CnFinal%20Evaluation%3A%22)%0A%20%20%20%20print(f%22%20%20Training%20R%C2%B2%3A%20%7Bfinal_train_r2%3A.4f%7D%22)%0A%20%20%20%20print(f%22%20%20Test%20R%C2%B2%3A%20%20%20%20%20%7Bfinal_test_r2%3A.4f%7D%22)%0A%20%20%20%20print(f%22%20%20Gap%3A%20%20%20%20%20%20%20%20%20%7Bfinal_train_r2%20-%20final_test_r2%3A.4f%7D%22)%0A%0A%20%20%20%20if%20final_train_r2%20-%20final_test_r2%20%3C%200.05%3A%0A%20%20%20%20%20%20%20%20print(%22%5Cn%E2%9C%93%20Small%20gap%20suggests%20good%20generalization!%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20print(%22%5Cn%E2%9A%A0%20Large%20gap%20might%20indicate%20overfitting%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20In%20this%20tutorial%20you%20practiced%3A%0A%0A%20%20%20%20-%20%E2%9C%85%20Splitting%20data%20into%20training%20and%20test%20sets%0A%20%20%20%20-%20%E2%9C%85%20Using%20stratification%20for%20classification%0A%20%20%20%20-%20%E2%9C%85%20Training%20and%20evaluating%20linear%20regression%0A%20%20%20%20-%20%E2%9C%85%20Applying%20Ridge%20and%20Lasso%20regularization%0A%20%20%20%20-%20%E2%9C%85%20Training%20and%20evaluating%20logistic%20regression%0A%20%20%20%20-%20%E2%9C%85%20Understanding%20the%20confusion%20matrix%0A%20%20%20%20-%20%E2%9C%85%20Calculating%20precision%2C%20recall%2C%20F1%2C%20and%20accuracy%0A%20%20%20%20-%20%E2%9C%85%20Using%20cross-validation%20for%20robust%20estimates%0A%20%20%20%20-%20%E2%9C%85%20Visualizing%20the%20bias-variance%20tradeoff%0A%0A%20%20%20%20**Key%20Takeaways%3A**%0A%20%20%20%20-%20Always%20use%20train%2Ftest%20split%20(never%20evaluate%20on%20training%20data)%0A%20%20%20%20-%20Choose%20metrics%20based%20on%20business%20context%20(not%20just%20accuracy!)%0A%20%20%20%20-%20Regularization%20helps%20prevent%20overfitting%0A%20%20%20%20-%20Cross-validation%20gives%20more%20reliable%20performance%20estimates%0A%20%20%20%20-%20Start%20simple%2C%20add%20complexity%20only%20if%20needed%0A%0A%20%20%20%20**Next%20Tutorial%3A**%20Trees%2C%20Ensembles%20%26%20Neural%20Networks%20(T6)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Preview%3A%20Beyond%20Linear%20Models%0A%0A%20%20%20%20In%20Tutorial%206%20you'll%20compare%20many%20models%20side-by-side.%20Here's%20a%20taste%3A%20let's%20see%20how%20a%20**Decision%20Tree**%20compares%20to%20the%20Logistic%20Regression%20you%20just%20trained.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20X_test_c%2C%0A%20%20%20%20X_train_c%2C%0A%20%20%20%20accuracy_score%2C%0A%20%20%20%20log_reg%2C%0A%20%20%20%20scaler_c%2C%0A%20%20%20%20y_test_c%2C%0A%20%20%20%20y_train_c%2C%0A)%3A%0A%20%20%20%20from%20sklearn.tree%20import%20DecisionTreeClassifier%0A%0A%20%20%20%20%23%20Train%20a%20simple%20decision%20tree%20(no%20scaling%20needed!)%0A%20%20%20%20tree%20%3D%20DecisionTreeClassifier(max_depth%3D5%2C%20random_state%3D42)%0A%20%20%20%20tree.fit(X_train_c%2C%20y_train_c)%0A%0A%20%20%20%20%23%20Compare%20with%20our%20logistic%20regression%0A%20%20%20%20tree_acc%20%3D%20accuracy_score(y_test_c%2C%20tree.predict(X_test_c))%0A%20%20%20%20lr_acc%20%3D%20accuracy_score(y_test_c%2C%20log_reg.predict(scaler_c.transform(X_test_c)))%0A%0A%20%20%20%20print(%22Model%20Comparison%20(Cancer%20Dataset)%3A%22)%0A%20%20%20%20print(f%22%20%20Logistic%20Regression%3A%20%7Blr_acc%3A.3f%7D%22)%0A%20%20%20%20print(f%22%20%20Decision%20Tree%3A%20%20%20%20%20%20%20%7Btree_acc%3A.3f%7D%22)%0A%20%20%20%20print()%0A%20%20%20%20print(%22Which%20is%20better%3F%20In%20T6%20we'll%20learn%20*why*%20and%20add%20ensembles%20%2B%20neural%20nets.%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Reflection%3A%20From%20Tutorial%20to%20Production%0A%0A%20%20%20%20Having%20practiced%20supervised%20learning%2C%20connect%20your%20experience%20to%20Stripe%20Radar%3A%0A%0A%20%20%20%201.%20**Class%20imbalance%3A**%20The%20breast%20cancer%20dataset%20is%20roughly%2063%25%20benign%20%2F%2037%25%20malignant.%20Fraud%20detection%20is%20more%20like%2099.5%25%20legitimate%20%2F%200.5%25%20fraud.%20How%20would%20this%20change%20your%20approach%20to%20train%2Ftest%20split%20and%20evaluation%3F%0A%20%20%20%202.%20**Threshold%20choice%3A**%20You%20used%20the%20default%200.5%20threshold%20for%20logistic%20regression.%20If%20you%20were%20Stripe%2C%20would%20you%20move%20it%20up%20or%20down%3F%20What's%20the%20business%20cost%20of%20each%20direction%3F%0A%20%20%20%203.%20**Feature%20engineering%3A**%20Stripe%20uses%20hundreds%20of%20features%20(transaction%20amount%2C%20device%20fingerprint%2C%20velocity%20patterns).%20Which%20features%20from%20the%20datasets%20you%20used%20today%20were%20most%20predictive%3F%20How%20did%20you%20find%20out%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Free%20Practice%0A%0A%20%20%20%20Use%20this%20space%20to%20experiment%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Free%20practice%20area%0A%20%20%20%20%23%20Try%20different%20models%2C%20hyperparameters%2C%20or%20datasets!%0A%0A%20%20%20%20%23%20Ideas%3A%0A%20%20%20%20%23%20-%20Try%20different%20values%20of%20regularization%20strength%0A%20%20%20%20%23%20-%20Experiment%20with%20different%20train%2Ftest%20split%20ratios%0A%20%20%20%20%23%20-%20Try%20different%20classification%20thresholds%0A%20%20%20%20%23%20-%20Load%20a%20different%20dataset%20from%20sklearn.datasets%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A