d3ip-case2-rm-3-prediction

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.13%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Case%202%20%C2%B7%20Notebook%203%20%E2%80%94%20Prediction%20Models%20for%20RM%0A%0A%20%20%20%20**Data-Driven%20Decisions%20in%20Practice%20%C2%B7%20D3%20Applications%20%C2%B7%20SS%202026**%0A%0A%20%20%20%20*Part%203%20of%203*%20%E2%80%94%20the%20prediction%20layer%20of%20the%20slide-2%20maturity%20curve%3A%0A%20%20%20%20a%20leakage-aware%20**cancellation%20classifier**%2C%20calibration%20as%20the%0A%20%20%20%20bridge%20from%20probability%20to%20decision%2C%20and%20one%20worked%20illustration%0A%20%20%20%20(%24q%5E%7B%5Ctext%7Beff%7D%7D_t%24%2C%20slide%209)%20of%20how%20a%20calibrated%20prediction%20plugs%0A%20%20%20%20into%20the%20dynamic%20state%20space%20from%20NB2.%0A%0A%20%20%20%20%7C%20Notebook%20%7C%20Focus%20%7C%20Feeds%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%201%20%C2%B7%20Data%20%7C%20Booking%20curves%2C%20fare-class%20structure%2C%20EDA%20bridge%20%7C%20Q1%20%7C%0A%20%20%20%20%7C%202%20%C2%B7%20Dynamic%20control%20%7C%20Booking%20strips%2C%20static%20simulator%2C%20state-space%20S-index%20%7C%20Q4%20baseline%20%7C%0A%20%20%20%20%7C%20**3%20%C2%B7%20Prediction%20models**%20*(you%20are%20here)*%20%7C%20Cancellation%20classifier%2C%20calibration%2C%20%24q%5E%7B%5Ctext%7Beff%7D%7D_t%24%20illustration%20%7C%20Q2%2C%20Q4%20advanced%20%7C%0A%0A%20%20%20%20*This%20notebook%20trains%20and%20explains%20the%20prediction%20pipeline.%20**It%20does%0A%20%20%20%20not%20wire%20predictions%20into%20a%20closed-loop%20control%20policy**%20%E2%80%94%20that%0A%20%20%20%20integration%20is%20Q4%20territory.%20What%20this%20notebook%20gives%20you%20is%20a%0A%20%20%20%20calibrated%20%24%5Chat%7BP%7D(%5Ctext%7Bcancel%7D)%24%20you%20can%20plug%20into%20your%20own%20buffer%0A%20%20%20%20or%20admission%20rule%2C%20plus%20one%20worked%20example%20showing%20what%20the%20resulting%0A%20%20%20%20trajectory%20looks%20like.*%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Loading%20the%20data%20and%20extracting%20a%20strip%0A%0A%20%20%20%20Same%20loader%20as%20NB1%2FNB2%2C%20plus%20a%20self-contained%20strip%20extractor%20so%20this%0A%20%20%20%20notebook%20runs%20independently.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20plotly.express%20as%20px%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%0A%20%20%20%20DATA_URL%20%3D%20%22https%3A%2F%2Fraw.githubusercontent.com%2Fmpolinowski%2Fhotel-booking-dataset%2Frefs%2Fheads%2Fmaster%2Fdatasets%2Fhotel_bookings.csv%22%0A%0A%20%20%20%20def%20load_bookings()%3A%0A%20%20%20%20%20%20%20%20df%20%3D%20pd.read_csv(DATA_URL)%0A%20%20%20%20%20%20%20%20df%5B%22arrival_date%22%5D%20%3D%20pd.to_datetime(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%5B%22arrival_date_year%22%5D.astype(str)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22-%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20df%5B%22arrival_date_month%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22-%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20df%5B%22arrival_date_day_of_month%22%5D.astype(str)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20format%3D%22%25Y-%25B-%25d%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20errors%3D%22coerce%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20df%5B%22booking_date%22%5D%20%3D%20df%5B%22arrival_date%22%5D%20-%20pd.to_timedelta(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%5B%22lead_time%22%5D%2C%20unit%3D%22D%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20df%5B%22lead_weeks%22%5D%20%3D%20(df%5B%22lead_time%22%5D%20%2F%2F%207).astype(int)%0A%20%20%20%20%20%20%20%20df%5B%22adr_per_adult%22%5D%20%3D%20df%5B%22adr%22%5D%20%2F%20df%5B%22adults%22%5D.clip(lower%3D1)%0A%20%20%20%20%20%20%20%20return%20df%0A%0A%20%20%20%20bookings%20%3D%20load_bookings()%0A%20%20%20%20bookings.shape%0A%0A%20%20%20%20%23%20Global%20static-plot%20defaults%3A%20no%20hover%2C%20no%20drag%2C%20no%20modebar%2C%20no%0A%20%20%20%20%23%20axis%20zoom%20%E2%80%94%20approximates%20Plotly's%20config%3D%7B'staticPlot'%3A%20True%7D.%0A%20%20%20%20import%20plotly.io%20as%20pio%0A%20%20%20%20pio.templates%5B%22wiba_static%22%5D%20%3D%20go.layout.Template(layout%3Dgo.Layout(%0A%20%20%20%20%20%20%20%20hovermode%3DFalse%2C%20dragmode%3DFalse%2C%0A%20%20%20%20%20%20%20%20modebar%3Ddict(remove%3D%5B%22zoom2d%22%2C%20%22pan2d%22%2C%20%22select2d%22%2C%20%22lasso2d%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22zoomIn2d%22%2C%20%22zoomOut2d%22%2C%20%22autoScale2d%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22resetScale2d%22%2C%20%22toImage%22%5D)%2C%0A%20%20%20%20%20%20%20%20xaxis%3Ddict(fixedrange%3DTrue)%2C%0A%20%20%20%20%20%20%20%20yaxis%3Ddict(fixedrange%3DTrue)%2C%0A%20%20%20%20))%0A%20%20%20%20pio.templates.default%20%3D%20%22plotly%2Bwiba_static%22%0A%20%20%20%20return%20bookings%2C%20np%2C%20pd%2C%20px%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(bookings%2C%20mo)%3A%0A%20%20%20%20valid_dates%20%3D%20sorted(bookings%5B%22arrival_date%22%5D.dropna().dt.date.unique())%0A%20%20%20%20default_idx%20%3D%20len(valid_dates)%20%2F%2F%202%0A%20%20%20%20stay_picker%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5Bstr(d)%20for%20d%20in%20valid_dates%5D%2C%0A%20%20%20%20%20%20%20%20value%3Dstr(valid_dates%5Bdefault_idx%5D)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Pick%20a%20stay%20night%20(used%20in%20%C2%A78%20augmented%20occupancy)%22%2C%0A%20%20%20%20)%0A%20%20%20%20hotel_picker%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22City%20Hotel%22%2C%20%22Resort%20Hotel%22%2C%20%22Both%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22City%20Hotel%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Hotel%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.hstack(%5Bstay_picker%2C%20hotel_picker%5D)%0A%20%20%20%20return%20hotel_picker%2C%20stay_picker%0A%0A%0A%40app.cell%0Adef%20_(bookings%2C%20hotel_picker%2C%20pd%2C%20stay_picker)%3A%0A%20%20%20%20stay_date%20%3D%20pd.to_datetime(stay_picker.value)%0A%20%20%20%20nights%20%3D%20bookings%5B%22stays_in_weekend_nights%22%5D%20%2B%20bookings%5B%22stays_in_week_nights%22%5D%0A%20%20%20%20covers%20%3D%20(%0A%20%20%20%20%20%20%20%20(bookings%5B%22arrival_date%22%5D%20%3C%3D%20stay_date)%0A%20%20%20%20%20%20%20%20%26%20(stay_date%20%3C%20bookings%5B%22arrival_date%22%5D%20%2B%20pd.to_timedelta(nights%2C%20unit%3D%22D%22))%0A%20%20%20%20)%0A%20%20%20%20if%20hotel_picker.value%20!%3D%20%22Both%22%3A%0A%20%20%20%20%20%20%20%20covers%20%3D%20covers%20%26%20(bookings%5B%22hotel%22%5D%20%3D%3D%20hotel_picker.value)%0A%20%20%20%20strip_full%20%3D%20bookings.loc%5Bcovers%5D.sort_values(%22booking_date%22).reset_index(drop%3DTrue).copy()%0A%20%20%20%20strip_full.shape%0A%20%20%20%20return%20(strip_full%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20%C2%A76%20%C2%B7%20Predictive%20Modelling%20for%20Revenue%20Management%0A%0A%20%20%20%20Slide%207%20turns%20three%20operational%20questions%20into%20supervised-learning%20problems%3A%0A%0A%20%20%20%20%7C%20Question%20%7C%20Target%20%7C%20Task%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20Will%20this%20booking%20cancel%3F%20%7C%20%60is_canceled%60%20%7C%20Classification%20%7C%0A%20%20%20%20%7C%20What%20is%20the%20likely%20ADR%20of%20the%20next%20request%3F%20%7C%20%60adr%60%20%7C%20Regression%20%7C%0A%20%20%20%20%7C%20How%20many%20more%20requests%20will%20arrive%3F%20%7C%20counts%20by%20date%20%7C%20Forecasting%20%7C%0A%0A%20%20%20%20We%20focus%20on%20the%20first%20because%20it%20has%20the%20cleanest%20pay-off%20in%20your%20case%3A%0A%20%20%20%20a%20calibrated%20cancellation%20probability%20**directly**%20feeds%20the%0A%20%20%20%20overbooking%20buffer.%20The%20pipeline%20below%20is%20the%20standard%20scikit-learn%0A%20%20%20%20pattern%20you%20saw%20with%20the%20Airbnb-rent%20case%20%E2%80%94%20%60ColumnTransformer%60%20for%0A%20%20%20%20numeric%2Fcategorical%2C%20fit%2C%20evaluate.%0A%0A%20%20%20%20The%20pipeline%20below%20is%20provided%20as%20a%20finished%20artefact%20%E2%80%94%20this%20part%20of%0A%20%20%20%20the%20course%20is%20not%20about%20tuning%20prediction%20pipelines%2C%20it%20is%20about%0A%20%20%20%20deploying%20their%20output%20as%20part%20of%20a%20decision%20rule.%20Read%20it%2C%20run%20it%2C%0A%20%20%20%20and%20use%20the%20resulting%20cancellation%20probabilities%20downstream.%0A%0A%20%20%20%20%23%23%23%20Why%20these%20features%2C%20and%20not%20others%0A%0A%20%20%20%20Several%20columns%20in%20the%20raw%20CSV%20are%20**only%20populated%20after%20the%20booking%0A%20%20%20%20decision%20has%20been%20made**.%20Using%20them%20looks%20brilliant%20on%20a%20hold-out%20set%0A%20%20%20%20and%20is%20useless%20in%20production.%20We%20drop%20them%3A%0A%0A%20%20%20%20%7C%20Column%20%7C%20Why%20it%20leaks%20%7C%0A%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%7C%20%60reservation_status%60%2C%20%60reservation_status_date%60%20%7C%20Direct%20labels%20of%20the%20outcome%20%E2%80%94%20these%20*are*%20the%20target%20%7C%0A%20%20%20%20%7C%20%60assigned_room_type%60%20%7C%20Determined%20at%20check-in%2C%20not%20at%20booking%20%7C%0A%20%20%20%20%7C%20%60booking_changes%60%20%7C%20Cumulative%20count%20over%20the%20booking's%20lifetime%20%7C%0A%20%20%20%20%7C%20%60days_in_waiting_list%60%20%7C%20Only%20known%20once%20the%20waiting%20period%20has%20ended%20%7C%0A%20%20%20%20%7C%20%60country%60%20(optional)%20%7C%20High-cardinality%20and%20proxy%20for%20distribution%20channel%3B%20we%20drop%20it%20for%20generality%20%7C%0A%0A%20%20%20%20The%20remaining%20features%20are%20split%20into%20a%20numeric%20and%20a%20categorical%0A%20%20%20%20group%2C%20each%20with%20its%20own%20preprocessing%20pipeline%20(median-impute%20%2B%20scale%0A%20%20%20%20for%20numerics%2C%20constant-impute%20%2B%20one-hot%20for%20categoricals).%20The%20two%0A%20%20%20%20pipelines%20are%20wired%20together%20with%20%60ColumnTransformer%60%20and%20fed%20into%20a%0A%20%20%20%20Random%20Forest%20classifier%20inside%20one%20%60Pipeline%60.%20The%20whole%20thing%20fits%0A%20%20%20%20in%20one%20%60.fit()%60%20call%20and%20scores%20new%20requests%20in%20one%20%60.predict_proba()%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(bookings)%3A%0A%20%20%20%20from%20sklearn.compose%20import%20ColumnTransformer%0A%20%20%20%20from%20sklearn.impute%20import%20SimpleImputer%0A%20%20%20%20from%20sklearn.linear_model%20import%20LogisticRegression%20%20%23%20noqa%3A%20F401%0A%20%20%20%20from%20sklearn.ensemble%20import%20RandomForestClassifier%0A%20%20%20%20from%20sklearn.metrics%20import%20(%0A%20%20%20%20%20%20%20%20brier_score_loss%2C%20matthews_corrcoef%2C%20recall_score%2C%20roc_auc_score%2C%0A%20%20%20%20)%0A%20%20%20%20from%20sklearn.model_selection%20import%20train_test_split%0A%20%20%20%20from%20sklearn.pipeline%20import%20Pipeline%0A%20%20%20%20from%20sklearn.preprocessing%20import%20OneHotEncoder%2C%20StandardScaler%0A%0A%20%20%20%20%23%20Subsample%20for%20snappy%20interactive%20fitting%20(full%20dataset%20works%20locally%2C%0A%20%20%20%20%23%20but%20in%20molab%2FWASM%20staying%20around%2020k%20rows%20keeps%20things%20responsive).%0A%20%20%20%20%23%20Sample%20size%20and%20tree%20count%20tuned%20for%20browser%2FWASM%20execution%0A%20%20%20%20%23%20(Pyodide%20is%20~3%E2%80%935%C3%97%20slower%20than%20native%20CPython).%20Lower%20these%20further%0A%20%20%20%20%23%20if%20students%20report%20slow%20first-load%20times%20on%20molab.%0A%20%20%20%20df_model%20%3D%20bookings.sample(n%3Dmin(10_000%2C%20len(bookings))%2C%20random_state%3D42).copy()%0A%0A%20%20%20%20%23%20Numeric%20features%3A%20all%20observable%20the%20moment%20the%20request%20arrives.%0A%20%20%20%20num_features%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22lead_time%22%2C%20%22stays_in_weekend_nights%22%2C%20%22stays_in_week_nights%22%2C%0A%20%20%20%20%20%20%20%20%22adults%22%2C%20%22children%22%2C%20%22babies%22%2C%20%22is_repeated_guest%22%2C%0A%20%20%20%20%20%20%20%20%22previous_cancellations%22%2C%20%22previous_bookings_not_canceled%22%2C%0A%20%20%20%20%20%20%20%20%22required_car_parking_spaces%22%2C%20%22total_of_special_requests%22%2C%20%22adr%22%2C%0A%20%20%20%20%5D%0A%20%20%20%20%23%20Categorical%20features%3A%20the%20channel%2Fsegment%2Fcontract%20metadata%20the%0A%20%20%20%20%23%20booking%20system%20already%20carries%20when%20the%20request%20lands.%0A%20%20%20%20cat_features%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22hotel%22%2C%20%22arrival_date_month%22%2C%20%22meal%22%2C%20%22market_segment%22%2C%0A%20%20%20%20%20%20%20%20%22distribution_channel%22%2C%20%22reserved_room_type%22%2C%20%22deposit_type%22%2C%0A%20%20%20%20%20%20%20%20%22customer_type%22%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20X%20%3D%20df_model%5Bnum_features%20%2B%20cat_features%5D.copy()%0A%20%20%20%20X%5Bnum_features%5D%20%3D%20X%5Bnum_features%5D.fillna(0)%0A%20%20%20%20y%20%3D%20df_model%5B%22is_canceled%22%5D.astype(int)%0A%0A%20%20%20%20pre%20%3D%20ColumnTransformer(%5B%0A%20%20%20%20%20%20%20%20(%22num%22%2C%20Pipeline(%5B(%22imp%22%2C%20SimpleImputer(strategy%3D%22median%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22sc%22%2C%20StandardScaler())%5D)%2C%20num_features)%2C%0A%20%20%20%20%20%20%20%20(%22cat%22%2C%20Pipeline(%5B(%22imp%22%2C%20SimpleImputer(strategy%3D%22constant%22%2C%20fill_value%3D%22UNK%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22oh%22%2C%20OneHotEncoder(handle_unknown%3D%22ignore%22))%5D)%2C%20cat_features)%2C%0A%20%20%20%20%5D)%0A%0A%20%20%20%20pipe%20%3D%20Pipeline(%5B(%22pre%22%2C%20pre)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22clf%22%2C%20RandomForestClassifier(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_estimators%3D100%2C%20n_jobs%3D-1%2C%20random_state%3D42%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min_samples_leaf%3D20%2C%20class_weight%3D%22balanced_subsample%22))%5D)%0A%0A%20%20%20%20X_tr%2C%20X_te%2C%20y_tr%2C%20y_te%20%3D%20train_test_split(%0A%20%20%20%20%20%20%20%20X%2C%20y%2C%20test_size%3D0.25%2C%20stratify%3Dy%2C%20random_state%3D42%0A%20%20%20%20)%0A%20%20%20%20pipe.fit(X_tr%2C%20y_tr)%0A%20%20%20%20p_te%20%3D%20pipe.predict_proba(X_te)%5B%3A%2C%201%5D%0A%20%20%20%20auc%20%3D%20roc_auc_score(y_te%2C%20p_te)%0A%20%20%20%20brier%20%3D%20brier_score_loss(y_te%2C%20p_te)%0A%20%20%20%20%23%20Hit%20rate%20%3D%20recall%20on%20the%20positive%20class%20at%20the%200.5%20threshold%2C%0A%20%20%20%20%23%20i.e.%20share%20of%20actual%20cancellations%20the%20model%20would%20catch%20under%0A%20%20%20%20%23%20a%20%22flag%20if%20p_hat%20%3E%3D%200.5%22%20rule.%0A%20%20%20%20y_pred%20%3D%20(p_te%20%3E%3D%200.5).astype(int)%0A%20%20%20%20hit_rate%20%3D%20recall_score(y_te%2C%20y_pred)%0A%20%20%20%20mcc%20%3D%20matthews_corrcoef(y_te%2C%20y_pred)%0A%20%20%20%20return%20auc%2C%20brier%2C%20hit_rate%2C%20mcc%2C%20p_te%2C%20pipe%2C%20y_te%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(auc%2C%20brier%2C%20hit_rate%2C%20mcc%2C%20mo)%3A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20**Cancellation%20model%20trained.**%0A%0A%20%20%20%20-%20ROC-AUC%20%3D%20%60%7Bauc%3A.3f%7D%60%20(random%20baseline%20%3D%200.5%3B%20well-calibrated%20models%0A%20%20%20%20%20%20on%20this%20dataset%20typically%20sit%20between%200.83%20and%200.90%20depending%20on%20the%0A%20%20%20%20%20%20feature%20set)%0A%20%20%20%20-%20Brier%20score%20%3D%20%60%7Bbrier%3A.3f%7D%60%20(lower%20is%20better%3B%20this%20captures%0A%20%20%20%20%20%20calibration%2C%20which%20matters%20more%20than%20AUC%20for%20overbooking%20decisions)%0A%20%20%20%20-%20Hit%20rate%20%3D%20%60%7Bhit_rate%3A.3f%7D%60%20(share%20of%20actual%20cancellations%20caught%0A%20%20%20%20%20%20when%20flagging%20at%20%24%5Chat%7B%7Bp%7D%7D%20%5C%5Cgeq%200.5%24%3B%20threshold-dependent)%0A%20%20%20%20-%20MCC%20%3D%20%60%7Bmcc%3A.3f%7D%60%20(Matthews%20correlation%20coefficient%3B%20balanced%0A%20%20%20%20%20%20single-number%20quality%20at%20the%200.5%20threshold)%0A%0A%20%20%20%20%3E%20**Hit%20rate%20in%20one%20line.**%20Of%20the%20bookings%20that%20*did*%20cancel%2C%20what%0A%20%20%20%20%3E%20fraction%20did%20the%20model%20flag%20with%20%24%5Chat%7B%7Bp%7D%7D%20%5C%5Cgeq%200.5%24%3F%20Formally%0A%20%20%20%20%3E%20%24%5C%5Ctext%7B%7BTP%7D%7D%20%2F%20(%5C%5Ctext%7B%7BTP%7D%7D%20%2B%20%5C%5Ctext%7B%7BFN%7D%7D)%24%20%E2%80%94%20same%20as%20recall%20%2F%0A%20%20%20%20%3E%20sensitivity%20%2F%20true-positive%20rate.%20It%20is%20the%20metric%20you%20care%20about%0A%20%20%20%20%3E%20when%20the%20cost%20of%20a%20missed%20cancellation%20is%20large%20(you%20held%20the%20room%0A%20%20%20%20%3E%20for%20nothing).%20Unlike%20AUC%20and%20Brier%20it%20depends%20on%20a%20chosen%20decision%0A%20%20%20%20%3E%20threshold%20(0.5%20here)%3B%20shifting%20that%20threshold%20trades%20hit%20rate%0A%20%20%20%20%3E%20against%20false%20alarms.%0A%0A%20%20%20%20%3E%20**MCC%20in%20one%20line.**%20A%20single%20number%20summarising%20the%20whole%0A%20%20%20%20%3E%20confusion%20matrix%20at%20the%20chosen%20threshold%3A%0A%20%20%20%20%3E%20%24%5C%5Ctext%7B%7BMCC%7D%7D%20%3D%20%5C%5Cdfrac%7B%7B%5C%5Ctext%7B%7BTP%7D%7D%5C%5Ccdot%5C%5Ctext%7B%7BTN%7D%7D%20-%20%5C%5Ctext%7B%7BFP%7D%7D%5C%5Ccdot%5C%5Ctext%7B%7BFN%7D%7D%7D%7D%7B%7B%5C%5Csqrt%7B%7B(%5C%5Ctext%7B%7BTP%7D%7D%2B%5C%5Ctext%7B%7BFP%7D%7D)(%5C%5Ctext%7B%7BTP%7D%7D%2B%5C%5Ctext%7B%7BFN%7D%7D)(%5C%5Ctext%7B%7BTN%7D%7D%2B%5C%5Ctext%7B%7BFP%7D%7D)(%5C%5Ctext%7B%7BTN%7D%7D%2B%5C%5Ctext%7B%7BFN%7D%7D)%7D%7D%7D%7D%24.%0A%20%20%20%20%3E%20Ranges%20in%20%24%5B-1%2C%201%5D%24%3A%201%20perfect%2C%200%20random%2C%20negative%20means%20worse%20than%0A%20%20%20%20%3E%20random.%20It%20is%20the%20only%20common%20single-number%20metric%20that%20stays%0A%20%20%20%20%3E%20honest%20under%20heavy%20class%20imbalance%20%E2%80%94%20accuracy%20and%20F1%20can%20both%0A%20%20%20%20%3E%20look%20high%20while%20MCC%20reveals%20the%20model%20is%20barely%20doing%20anything.%0A%0A%20%20%20%20%3E%20**Brier%20score%20in%20one%20line.**%20It%20is%20the%20mean%20squared%20error%20between%20the%0A%20%20%20%20%3E%20predicted%20probability%20and%20the%200%2F1%20outcome%3A%0A%20%20%20%20%3E%20%24%5C%5Ctext%7B%7BBrier%7D%7D%20%3D%20%5C%5Ctfrac%7B%7B1%7D%7D%7B%7Bn%7D%7D%5C%5Csum_i%20(%5C%5Chat%7B%7Bp%7D%7D_i%20-%20y_i)%5E2%24.%0A%20%20%20%20%3E%20A%20coin%20flip%20predicting%200.5%20for%20everything%20scores%200.25%3B%20a%20model%20that%0A%20%20%20%20%3E%20always%20says%201%20when%20the%20outcome%20is%201%20and%200%20when%20it%20isn't%20scores%200.%20So%0A%20%20%20%20%3E%20**lower%20is%20better**%2C%20with%200%20being%20perfect%20and%20~0.25%20being%20%22no%0A%20%20%20%20%3E%20better%20than%20the%20base%20rate%20guess%22.%20Unlike%20AUC%2C%20Brier%20punishes%20a%20model%0A%20%20%20%20%3E%20that%20is%20confidently%20wrong%20about%20the%20*magnitude*%20of%20the%20probability%2C%0A%20%20%20%20%3E%20not%20just%20the%20ordering%20%E2%80%94%20which%20is%20exactly%20what%20an%20overbooking%0A%20%20%20%20%3E%20calculation%20cares%20about.%0A%0A%20%20%20%20Pure%20discrimination%20(AUC)%20is%20not%20enough.%20To%20translate%20a%20probability%20into%0A%20%20%20%20a%20decision%20(*%22how%20many%20to%20overbook%3F%22*)%20the%20probabilities%20must%20be%0A%20%20%20%20**calibrated**%20%E2%80%94%20when%20the%20model%20says%2030%25%20it%20should%20cancel%20~30%25%20of%20the%20time.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(p_te%2C%20pd%2C%20px%2C%20y_te)%3A%0A%20%20%20%20from%20sklearn.calibration%20import%20calibration_curve%0A%20%20%20%20frac_pos%2C%20mean_pred%20%3D%20calibration_curve(y_te%2C%20p_te%2C%20n_bins%3D10%2C%20strategy%3D%22quantile%22)%0A%0A%20%20%20%20cal_df%20%3D%20pd.DataFrame(%7B%22predicted%22%3A%20mean_pred%2C%20%22observed%22%3A%20frac_pos%7D)%0A%0A%20%20%20%20fig_cal%20%3D%20px.line(%0A%20%20%20%20%20%20%20%20cal_df%2C%20x%3D%22predicted%22%2C%20y%3D%22observed%22%2C%20markers%3DTrue%2C%0A%20%20%20%20%20%20%20%20labels%3D%7B%22predicted%22%3A%20%22Predicted%20cancellation%20probability%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22observed%22%3A%20%22Observed%20cancellation%20rate%22%7D%2C%0A%20%20%20%20%20%20%20%20title%3D%22Calibration%20plot%20%E2%80%94%20do%20the%20probabilities%20mean%20what%20they%20say%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20fig_cal.update_traces(line_color%3D%22%231f77b4%22)%0A%20%20%20%20fig_cal.add_shape(type%3D%22line%22%2C%20x0%3D0%2C%20y0%3D0%2C%20x1%3D1%2C%20y1%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22black%22%2C%20dash%3D%22dash%22))%0A%20%20%20%20fig_cal.update_layout(width%3D460%2C%20height%3D380%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D10%2C%20r%3D10%2C%20t%3D50%2C%20b%3D10))%0A%20%20%20%20fig_cal%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Playground%20%E2%80%94%20feel%20which%20features%20carry%20the%20signal%0A%0A%20%20%20%20Toggle%20features%20below%20to%20see%20how%20much%20each%20one%20contributes%2C%20and%20try%20a%0A%20%20%20%20different%20classifier%20to%20see%20how%20*calibration*%20changes%20even%20when%20AUC%0A%20%20%20%20stays%20similar.%0A%0A%20%20%20%20%3E%20**Scratch%20fit%2C%20not%20the%20reference%20model.**%20This%20playground%20trains%20a%0A%20%20%20%20%3E%20separate%20pipeline%20on%20a%20smaller%20subsample%20(8%20000%20rows%2C%20random%20seed%207)%0A%20%20%20%20%3E%20with%20a%20faster%20classifier%20configuration.%20The%20%C2%A76%20reference%20model%0A%20%20%20%20%3E%20used%20downstream%20in%20%C2%A78%20is%20the%20one%20shown%20two%20cells%20above%20(10%20000%0A%20%20%20%20%3E%20rows%2C%20100%20trees)%20and%20is%20*unaffected*%20by%20anything%20you%20do%20here.%20The%0A%20%20%20%20%3E%20AUC%20and%20Brier%20numbers%20below%20will%20not%20exactly%20match%20the%20reference.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20NUM_ALL%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22lead_time%22%2C%20%22stays_in_weekend_nights%22%2C%20%22stays_in_week_nights%22%2C%0A%20%20%20%20%20%20%20%20%22adults%22%2C%20%22children%22%2C%20%22babies%22%2C%20%22is_repeated_guest%22%2C%0A%20%20%20%20%20%20%20%20%22previous_cancellations%22%2C%20%22previous_bookings_not_canceled%22%2C%0A%20%20%20%20%20%20%20%20%22required_car_parking_spaces%22%2C%20%22total_of_special_requests%22%2C%20%22adr%22%2C%0A%20%20%20%20%5D%0A%20%20%20%20CAT_ALL%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22hotel%22%2C%20%22arrival_date_month%22%2C%20%22meal%22%2C%20%22market_segment%22%2C%0A%20%20%20%20%20%20%20%20%22distribution_channel%22%2C%20%22reserved_room_type%22%2C%20%22deposit_type%22%2C%0A%20%20%20%20%20%20%20%20%22customer_type%22%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20num_pick%20%3D%20mo.ui.multiselect(%0A%20%20%20%20%20%20%20%20options%3DNUM_ALL%2C%0A%20%20%20%20%20%20%20%20value%3D%5B%22lead_time%22%2C%20%22adr%22%2C%20%22total_of_special_requests%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22previous_cancellations%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Numeric%20features%22%2C%0A%20%20%20%20)%0A%20%20%20%20cat_pick%20%3D%20mo.ui.multiselect(%0A%20%20%20%20%20%20%20%20options%3DCAT_ALL%2C%0A%20%20%20%20%20%20%20%20value%3D%5B%22hotel%22%2C%20%22market_segment%22%2C%20%22deposit_type%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Categorical%20features%22%2C%0A%20%20%20%20)%0A%20%20%20%20model_pick%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22Logistic%20Regression%22%2C%20%22Random%20Forest%22%2C%20%22Gradient%20Boosting%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Random%20Forest%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Classifier%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bnum_pick%2C%20cat_pick%2C%20model_pick%5D)%0A%20%20%20%20return%20cat_pick%2C%20model_pick%2C%20num_pick%0A%0A%0A%40app.cell%0Adef%20_(bookings%2C%20cat_pick%2C%20mo%2C%20model_pick%2C%20num_pick%2C%20pd%2C%20px)%3A%0A%20%20%20%20from%20sklearn.calibration%20import%20calibration_curve%20as%20_cal_curve%0A%20%20%20%20from%20sklearn.compose%20import%20ColumnTransformer%20as%20_CT%0A%20%20%20%20from%20sklearn.ensemble%20import%20(%0A%20%20%20%20%20%20%20%20GradientBoostingClassifier%20as%20_GBM%2C%0A%20%20%20%20%20%20%20%20RandomForestClassifier%20as%20_RF%2C%0A%20%20%20%20)%0A%20%20%20%20from%20sklearn.impute%20import%20SimpleImputer%20as%20_SI%0A%20%20%20%20from%20sklearn.linear_model%20import%20LogisticRegression%20as%20_LR%0A%20%20%20%20from%20sklearn.metrics%20import%20(%0A%20%20%20%20%20%20%20%20brier_score_loss%20as%20_brier%2C%0A%20%20%20%20%20%20%20%20matthews_corrcoef%20as%20_mcc%2C%0A%20%20%20%20%20%20%20%20recall_score%20as%20_recall%2C%0A%20%20%20%20%20%20%20%20roc_auc_score%20as%20_auc%2C%0A%20%20%20%20)%0A%20%20%20%20from%20sklearn.model_selection%20import%20train_test_split%20as%20_split%0A%20%20%20%20from%20sklearn.pipeline%20import%20Pipeline%20as%20_Pipe%0A%20%20%20%20from%20sklearn.preprocessing%20import%20OneHotEncoder%20as%20_OHE%2C%20StandardScaler%20as%20_SS%0A%0A%20%20%20%20chosen_num%20%3D%20list(num_pick.value)%0A%20%20%20%20chosen_cat%20%3D%20list(cat_pick.value)%0A%0A%20%20%20%20if%20not%20chosen_num%20and%20not%20chosen_cat%3A%0A%20%20%20%20%20%20%20%20fig_play%20%3D%20mo.md(%22%3E%20**Pick%20at%20least%20one%20feature%20above.**%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20df_play%20%3D%20bookings.sample(n%3Dmin(8_000%2C%20len(bookings))%2C%20random_state%3D7).copy()%0A%20%20%20%20%20%20%20%20X_play%20%3D%20df_play%5Bchosen_num%20%2B%20chosen_cat%5D.copy()%0A%20%20%20%20%20%20%20%20if%20chosen_num%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20X_play%5Bchosen_num%5D%20%3D%20X_play%5Bchosen_num%5D.fillna(0)%0A%20%20%20%20%20%20%20%20y_play%20%3D%20df_play%5B%22is_canceled%22%5D.astype(int)%0A%0A%20%20%20%20%20%20%20%20transformers%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20chosen_num%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20transformers.append((%22num%22%2C%20_Pipe(%5B(%22i%22%2C%20_SI(strategy%3D%22median%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22s%22%2C%20_SS())%5D)%2C%20chosen_num))%0A%20%20%20%20%20%20%20%20if%20chosen_cat%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20transformers.append((%22cat%22%2C%20_Pipe(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22i%22%2C%20_SI(strategy%3D%22constant%22%2C%20fill_value%3D%22UNK%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22o%22%2C%20_OHE(handle_unknown%3D%22ignore%22))%5D)%2C%20chosen_cat))%0A%20%20%20%20%20%20%20%20pre_play%20%3D%20_CT(transformers)%0A%0A%20%20%20%20%20%20%20%20if%20model_pick.value%20%3D%3D%20%22Logistic%20Regression%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20clf%20%3D%20_LR(max_iter%3D1000%2C%20class_weight%3D%22balanced%22)%0A%20%20%20%20%20%20%20%20elif%20model_pick.value%20%3D%3D%20%22Gradient%20Boosting%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20clf%20%3D%20_GBM(n_estimators%3D120%2C%20max_depth%3D3%2C%20random_state%3D7)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20clf%20%3D%20_RF(n_estimators%3D80%2C%20n_jobs%3D-1%2C%20random_state%3D7%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20min_samples_leaf%3D25%2C%20class_weight%3D%22balanced_subsample%22)%0A%0A%20%20%20%20%20%20%20%20pipe_play%20%3D%20_Pipe(%5B(%22pre%22%2C%20pre_play)%2C%20(%22clf%22%2C%20clf)%5D)%0A%20%20%20%20%20%20%20%20Xtr%2C%20Xte%2C%20ytr%2C%20yte%20%3D%20_split(X_play%2C%20y_play%2C%20test_size%3D0.25%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20stratify%3Dy_play%2C%20random_state%3D7)%0A%20%20%20%20%20%20%20%20pipe_play.fit(Xtr%2C%20ytr)%0A%20%20%20%20%20%20%20%20pte%20%3D%20pipe_play.predict_proba(Xte)%5B%3A%2C%201%5D%0A%20%20%20%20%20%20%20%20ypred%20%3D%20(pte%20%3E%3D%200.5).astype(int)%0A%20%20%20%20%20%20%20%20auc_play%20%3D%20_auc(yte%2C%20pte)%0A%20%20%20%20%20%20%20%20brier_play%20%3D%20_brier(yte%2C%20pte)%0A%20%20%20%20%20%20%20%20hit_play%20%3D%20_recall(yte%2C%20ypred)%0A%20%20%20%20%20%20%20%20mcc_play%20%3D%20_mcc(yte%2C%20ypred)%0A%0A%20%20%20%20%20%20%20%20frac_pos_p%2C%20mean_pred_p%20%3D%20_cal_curve(yte%2C%20pte%2C%20n_bins%3D10%2C%20strategy%3D%22quantile%22)%0A%20%20%20%20%20%20%20%20cal_play_df%20%3D%20pd.DataFrame(%7B%22predicted%22%3A%20mean_pred_p%2C%20%22observed%22%3A%20frac_pos_p%7D)%0A%0A%20%20%20%20%20%20%20%20fig_play_chart%20%3D%20px.line(%0A%20%20%20%20%20%20%20%20%20%20%20%20cal_play_df%2C%20x%3D%22predicted%22%2C%20y%3D%22observed%22%2C%20markers%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20labels%3D%7B%22predicted%22%3A%20%22Predicted%20cancellation%20probability%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22observed%22%3A%20%22Observed%20cancellation%20rate%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Playground%20calibration%20%C2%B7%20%7Bmodel_pick.value%7D%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig_play_chart.update_traces(line_color%3D%22%232ca02c%22)%0A%20%20%20%20%20%20%20%20fig_play_chart.add_shape(type%3D%22line%22%2C%20x0%3D0%2C%20y0%3D0%2C%20x1%3D1%2C%20y1%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22black%22%2C%20dash%3D%22dash%22))%0A%20%20%20%20%20%20%20%20fig_play_chart.update_layout(width%3D440%2C%20height%3D380%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D10%2C%20r%3D10%2C%20t%3D50%2C%20b%3D10))%0A%0A%20%20%20%20%20%20%20%20%23%20Lower-is-better%20for%20Brier%3B%20readable%20verdict%20to%20anchor%20the%20eye.%0A%20%20%20%20%20%20%20%20if%20brier_play%20%3C%200.10%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20brier_verdict%20%3D%20%22well%20calibrated%22%0A%20%20%20%20%20%20%20%20elif%20brier_play%20%3C%200.20%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20brier_verdict%20%3D%20%22acceptable%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20brier_verdict%20%3D%20%22poorly%20calibrated%22%0A%20%20%20%20%20%20%20%20%23%20Standard%20rough%20cutoffs%20for%20ROC%20AUC.%0A%20%20%20%20%20%20%20%20if%20auc_play%20%3E%3D%200.85%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20auc_verdict%20%3D%20%22strong%22%0A%20%20%20%20%20%20%20%20elif%20auc_play%20%3E%3D%200.75%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20auc_verdict%20%3D%20%22useful%22%0A%20%20%20%20%20%20%20%20elif%20auc_play%20%3E%3D%200.65%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20auc_verdict%20%3D%20%22weak%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20auc_verdict%20%3D%20%22near-random%22%0A%0A%20%20%20%20%20%20%20%20%23%20MCC%20verdicts%3A%20rough%20cutoffs%20commonly%20used%20in%20clinical%2FML%20lit.%0A%20%20%20%20%20%20%20%20if%20mcc_play%20%3E%3D%200.5%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mcc_verdict%20%3D%20%22strong%22%0A%20%20%20%20%20%20%20%20elif%20mcc_play%20%3E%3D%200.3%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mcc_verdict%20%3D%20%22useful%22%0A%20%20%20%20%20%20%20%20elif%20mcc_play%20%3E%3D%200.1%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mcc_verdict%20%3D%20%22weak%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mcc_verdict%20%3D%20%22near-random%22%0A%20%20%20%20%20%20%20%20metrics_table%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Playground%20metrics**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%7C%20Metric%20%7C%20Value%20%7C%20Read%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%7C---%7C---%3A%7C%3A--%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20Classifier%20%7C%20%E2%80%94%20%7C%20%7Bmodel_pick.value%7D%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20Numeric%20features%20%7C%20%7Blen(chosen_num)%7D%20%7C%20of%2012%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20Categorical%20features%20%7C%20%7Blen(chosen_cat)%7D%20%7C%20of%208%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20ROC-AUC%20%7C%20**%7Bauc_play%3A.3f%7D**%20%7C%20%7Bauc_verdict%7D%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20Brier%20score%20%7C%20**%7Bbrier_play%3A.3f%7D**%20%7C%20%7Bbrier_verdict%7D%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20Hit%20rate%20(p%CC%82%E2%89%A50.5)%20%7C%20**%7Bhit_play%3A.3f%7D**%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22recall%20on%20cancellations%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20MCC%20(p%CC%82%E2%89%A50.5)%20%7C%20**%7Bmcc_play%3A.3f%7D**%20%7C%20%7Bmcc_verdict%7D%20%7C%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22*AUC%20ranks%3B%20Brier%20scores%20the%20probability%20magnitude%3B%20hit%20rate%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22and%20MCC%20depend%20on%20the%200.5%20threshold.%20Brier%20is%20the%20one%20that%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22matters%20for%20an%20overbooking%20rule%3B%20MCC%20is%20the%20honest%20single-%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22number%20summary%20if%20you%20commit%20to%20a%20hard%20classify-or-not%20cut.*%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig_play%20%3D%20mo.hstack(%5Bfig_play_chart%2C%20metrics_table%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20widths%3D%5B2%2C%201%5D%2C%20align%3D%22center%22)%0A%20%20%20%20fig_play%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Things%20worth%20trying%3A%0A%0A%20%20%20%20-%20**Strip%20everything%20except%20%60lead_time%60%20and%20%60deposit_type%60.**%20Watch%0A%20%20%20%20%20%20how%20much%20of%20the%20AUC%20survives.%20The%20result%20tells%20you%20which%20signals%0A%20%20%20%20%20%20are%20actually%20doing%20the%20work.%0A%20%20%20%20-%20**Switch%20from%20Random%20Forest%20to%20Logistic%20Regression.**%20AUC%20drops%20a%0A%20%20%20%20%20%20little%3B%20calibration%20often%20improves.%20For%20decision%20rules%20that%20*use*%0A%20%20%20%20%20%20the%20probability%2C%20the%20trade%20may%20be%20worth%20it.%0A%20%20%20%20-%20**Add%20%60market_segment%60%20and%20%60distribution_channel%60.**%20Channel%20mix%0A%20%20%20%20%20%20carries%20a%20lot%20of%20cancellation%20risk%20in%20this%20dataset.%0A%20%20%20%20-%20**Drop%20%60adr%60.**%20Notice%20how%20the%20model%20still%20works%20%E2%80%94%20the%20strongest%0A%20%20%20%20%20%20cancellation%20signals%20are%20not%20price-related.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Calibration%20matters%20more%20than%20AUC%20for%20any%20decision%20that%20uses%20the%0A%20%20%20%20probability%20as%20a%20*number*%20rather%20than%20just%20as%20a%20ranking.%20A%20weaker%0A%20%20%20%20model%20that%20says%20what%20it%20means%20tends%20to%20beat%20a%20stronger%20model%20that%20is%0A%20%20%20%20over-confident.%0A%0A%20%20%20%20%23%23%23%20Translating%20%24%5Chat%7BP%7D(%5Ctext%7Bcancel%7D)%24%20into%20operational%20quantities%0A%0A%20%20%20%20The%20model%20returns%20one%20number%20per%20booking%3A%20the%20predicted%20probability%20of%0A%20%20%20%20cancellation.%20Three%20things%20you%20can%20do%20with%20it%3A%0A%0A%20%20%20%201.%20**Expected%20check-ins%20from%20a%20current%20book%20of%20business.**%20If%20you%20have%0A%20%20%20%20%20%20%20%24n%24%20bookings%20on%20the%20books%20with%20predicted%20cancellation%20probabilities%0A%20%20%20%20%20%20%20%24%5Chat%7Bp%7D_1%2C%20%5Cdots%2C%20%5Chat%7Bp%7D_n%24%2C%20the%20expected%20number%20of%20*arriving*%0A%20%20%20%20%20%20%20guests%20is%0A%0A%20%20%20%20%20%20%20%24%24%5Cmathbb%7BE%7D%5B%5Ctext%7Bcheck-ins%7D%5D%20%3D%20%5Csum_%7Bi%3D1%7D%5En%20(1%20-%20%5Chat%7Bp%7D_i)%24%24%0A%0A%20%20%20%20%20%20%20This%20is%20the%20%24q%5E%7B%5Ctext%7Beff%7D%7D_t%24%20quantity%20from%20slide%209%2C%20which%20we%0A%20%20%20%20%20%20%20plot%20live%20in%20%C2%A78%20below.%0A%0A%20%20%20%202.%20**Static%20overbooking%20buffer.**%20The%20simplest%20rule%3A%20accept%20extra%0A%20%20%20%20%20%20%20bookings%20until%20the%20expected%20check-ins%20equal%20capacity.%20If%20the%0A%20%20%20%20%20%20%20average%20cancellation%20probability%20on%20a%20representative%20night%20is%0A%20%20%20%20%20%20%20%24%5Cbar%7Bp%7D%24%2C%20then%20to%20fill%20%24c%24%20rooms%20in%20expectation%20you%20sell%0A%20%20%20%20%20%20%20%24%24n%5E%5Cstar%20%3D%20%5Cfrac%7Bc%7D%7B1%20-%20%5Cbar%7Bp%7D%7D.%24%24%0A%20%20%20%20%20%20%20The%20buffer%20is%20%24n%5E%5Cstar%20-%20c%24.%20Worked%20example%3A%20100%20rooms%2C%20%24%5Cbar%7Bp%7D%20%3D%0A%20%20%20%20%20%20%200.25%20%5CRightarrow%20n%5E%5Cstar%20%3D%20133%24%2C%20buffer%20of%2033.%20Whether%2033%20is%20the%0A%20%20%20%20%20%20%20*right*%20buffer%20depends%20on%20the%20walk-cost%2C%20the%20spread%20of%20%24%5Chat%7Bp%7D%24%2C%0A%20%20%20%20%20%20%20and%20your%20tolerance%20for%20walk-aways%20%E2%80%94%20Q2%20territory.%0A%0A%20%20%20%203.%20**Per-request%20decision%20rule.**%20When%20a%20low-fare%20request%20arrives%20at%0A%20%20%20%20%20%20%20time%20%24t%24%2C%20you%20can%20ask%3A%20does%20accepting%20it%20push%20expected%20check-ins%0A%20%20%20%20%20%20%20above%20the%20capacity-plus-tolerated-walk-rate%20threshold%3F%20This%20is%20a%0A%20%20%20%20%20%20%20fully%20dynamic%20version%20of%20(2)%20and%20is%20exactly%20the%20kind%20of%20policy%0A%20%20%20%20%20%20%20Q4%20invites%20you%20to%20design.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Using%20the%20model%20on%20a%20new%20request%20%E2%80%94%20worked%20example%0A%0A%20%20%20%20You%20score%20*any*%20set%20of%20bookings%20%E2%80%94%20one%20row%2C%20a%20small%20batch%2C%20or%20the%0A%20%20%20%20full%20strip%20%E2%80%94%20with%20a%20single%20%60predict_proba%60%20call.%20The%20pipeline%20carries%0A%20%20%20%20its%20own%20preprocessing%2C%20so%20you%20pass%20the%20raw%20feature%20columns%20and%0A%20%20%20%20receive%20a%20vector%20of%20probabilities%20back%2C%20one%20per%20row.%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20feat_cols%20%3D%20list(pipe.named_steps%5B%22pre%22%5D.feature_names_in_)%0A%20%20%20%20p_cancel%20%3D%20pipe.predict_proba(bookings_df%5Bfeat_cols%5D)%5B%3A%2C%201%5D%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20The%20illustration%20below%20applies%20it%20to%20the%20**current%20strip**%20(the%0A%20%20%20%20stay%20night%20picked%20at%20the%20top%20of%20the%20notebook)%20and%20shows%20the%20first%0A%20%20%20%20rows%20alongside%20their%20predicted%20cancellation%20probability%20and%0A%20%20%20%20implied%20expected-show.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pipe%2C%20strip_full)%3A%0A%20%20%20%20if%20len(strip_full)%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20_scoring_view%20%3D%20mo.md(%22*Strip%20is%20empty%20%E2%80%94%20pick%20a%20different%20stay%20night.*%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20feat_cols_demo%20%3D%20list(pipe.named_steps%5B%22pre%22%5D.feature_names_in_)%0A%20%20%20%20%20%20%20%20p_demo%20%3D%20pipe.predict_proba(strip_full%5Bfeat_cols_demo%5D)%5B%3A%2C%201%5D%0A%0A%20%20%20%20%20%20%20%20demo%20%3D%20strip_full%5B%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22hotel%22%2C%20%22booking_date%22%2C%20%22lead_time%22%2C%20%22market_segment%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22distribution_channel%22%2C%20%22deposit_type%22%2C%20%22adr%22%2C%0A%20%20%20%20%20%20%20%20%5D%5D.copy()%0A%20%20%20%20%20%20%20%20demo%5B%22p_cancel%22%5D%20%3D%20p_demo.round(3)%0A%20%20%20%20%20%20%20%20demo%5B%22expected_show%22%5D%20%3D%20(1%20-%20p_demo).round(3)%0A%0A%20%20%20%20%20%20%20%20head%20%3D%20demo.head(8).reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20summary_md%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Strip-level%20summary**%20%C2%B7%20n%20%3D%20%7Blen(strip_full)%7D%20bookings%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Mean%20%24%5C%5Chat%7B%7Bp%7D%7D%24%20%3D%20**%7Bfloat(p_demo.mean())%3A.3f%7D**%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22min%20%3D%20%7Bfloat(p_demo.min())%3A.3f%7D%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22max%20%3D%20%7Bfloat(p_demo.max())%3A.3f%7D%20%20%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Expected%20check-ins%20%24%5C%5Csum_i%20(1-%5C%5Chat%7B%7Bp%7D%7D_i)%24%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bfloat((1%20-%20p_demo).sum())%3A.1f%7D**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22(out%20of%20%7Blen(strip_full)%7D%20bookings%20on%20the%20books)%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_scoring_view%20%3D%20mo.vstack(%5Bsummary_md%2C%20head%5D)%0A%20%20%20%20_scoring_view%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20*Reading%20the%20table.*%20Each%20row%20is%20a%20booking%20from%20the%20strip%3B%20%60p_cancel%60%0A%20%20%20%20is%20the%20model's%20predicted%20cancellation%20probability%20and%0A%20%20%20%20%60expected_show%20%3D%201%20%E2%88%92%20p_cancel%60%20is%20what%20gets%20summed%20into%20the%0A%20%20%20%20cancellation-adjusted%20occupancy%20%24q%5E%7B%5Ctext%7Beff%7D%7D_t%24%20in%20%C2%A78.%20A%20row%20with%0A%20%20%20%20%60p_cancel%20%3D%200.7%60%20contributes%200.3%20to%20the%20occupancy%20total%20%E2%80%94%20useful%20for%0A%20%20%20%20overbooking%20math%2C%20useless%20for%20ranking%20which%20bookings%20to%20reject.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20%C2%A77%20%C2%B7%20Bringing%20It%20Together%3A%20Raw%20%E2%86%92%20Model%20%E2%86%92%20Decision%0A%0A%20%20%20%20The%20pipeline%20you%20are%20now%20wiring%20up%20is%3A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20hotel_bookings.csv%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%96%BC%0A%20%20%20%20%20%20%20%20feature%20engineering%20%20%20%20%20%20%20%20%20%20%20%E2%94%80%E2%94%80%E2%96%BA%20%20segment%20%2F%20season%20%2F%20channel%20cuts%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%96%BC%0A%20%20%20%20%20%20%20%20prediction%20model%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%80%E2%94%80%E2%96%BA%20%20P(cancel)%2C%20P(high-fare%20arrival)%2C%20%E2%80%A6%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%96%BC%0A%20%20%20%20%20%20%20%20decision%20logic%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%80%E2%94%80%E2%96%BA%20%20protection%20level(t)%2C%20overbooking%20buffer%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%96%BC%0A%20%20%20%20%20%20%20%20booking-strip%20simulation%20%20%20%20%20%20%E2%94%80%E2%94%80%E2%96%BA%20%20realised%20revenue%2C%20rejections%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Each%20arrow%20is%20a%20place%20where%20you%20make%20**a%20methodological%20choice**.%0A%20%20%20%20The%20week-1%20work%20fixed%20the%20last%20arrow%3B%20the%20work%20for%20week%202%20is%20to%20make%0A%20%20%20%20the%20middle%20two%20transparent%20and%20defensible.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20%C2%A78%20%C2%B7%20Prediction-Augmented%20State%20Space%0A%0A%20%20%20%20Slide%209%20closes%20the%20loop.%20The%20naive%20state%20index%20uses%20*room%20count*%20and%0A%20%20%20%20*time%20%C3%97%20average%20demand*.%20Both%20can%20be%20replaced%20by%20predictions%3A%0A%0A%20%20%20%20%24%24%5Ctext%7BBooking%20pressure%7D%20%3D%20%5Cfrac%7Bq_t%5E%7B%5Ctext%7Beff%7D%7D%7D%7B%5Cwidehat%7BD%7D_%7B%5Ctext%7Bremaining%7D%7D%7D%20%5Cquad%20%5Ctext%7Bwhere%7D%20%5Cquad%20q_t%5E%7B%5Ctext%7Beff%7D%7D%20%3D%20%5Csum_i%20q_i%20(1%20-%20%5Chat%7BP%7D(%5Ctext%7Bcancel%7D_i))%24%24%0A%0A%20%20%20%20-%20%24q_t%5E%7B%5Ctext%7Beff%7D%7D%24%20%E2%80%94%20**cancellation-adjusted%20occupancy**%3A%20discount%0A%20%20%20%20%20%20each%20currently-on-the-books%20reservation%20by%20its%20predicted%20survival%0A%20%20%20%20%20%20probability.%0A%20%20%20%20-%20%24%5Cwidehat%7BD%7D_%7B%5Ctext%7Bremaining%7D%7D%24%20%E2%80%94%20**forecast%20of%20remaining%20arrivals**%3A%0A%20%20%20%20%20%20not%20the%20historical%20mean%2C%20but%20a%20prediction%20conditioned%20on%20the%20current%0A%20%20%20%20%20%20booking%20pace%2C%20day-of-week%2C%20season%2C%20etc.%0A%0A%20%20%20%20Below%20we%20compute%20%24q_t%5E%7B%5Ctext%7Beff%7D%7D%24%20on%20the%20live%20strip%20using%20the%0A%20%20%20%20cancellation%20model%20from%20%C2%A76%20and%20contrast%20the%20*raw*%20inventory%0A%20%20%20%20trajectory%20with%20the%20*risk-adjusted*%20one.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pd%2C%20pipe%2C%20px%2C%20strip_full)%3A%0A%20%20%20%20s_aug%20%3D%20strip_full.sort_values(%22booking_date%22).reset_index(drop%3DTrue).copy()%0A%0A%20%20%20%20%23%20Pull%20the%20columns%20the%20trained%20model%20expects%20directly%20from%20the%20full%0A%20%20%20%20%23%20booking%20row%20carried%20along%20in%20strip_full%20%E2%80%94%20no%20leakage%20worries%20because%0A%20%20%20%20%23%20we%20only%20use%20features%20that%20were%20available%20at%20booking%20time.%0A%20%20%20%20feat_cols%20%3D%20list(pipe.named_steps%5B%22pre%22%5D.feature_names_in_)%0A%20%20%20%20p_cancel%20%3D%20pipe.predict_proba(s_aug%5Bfeat_cols%5D)%5B%3A%2C%201%5D%0A%20%20%20%20s_aug%5B%22p_cancel%22%5D%20%3D%20p_cancel%0A%20%20%20%20s_aug%5B%22expected_show%22%5D%20%3D%201%20-%20p_cancel%0A%20%20%20%20s_aug%5B%22q_eff%22%5D%20%3D%20s_aug%5B%22expected_show%22%5D.cumsum()%0A%20%20%20%20s_aug%5B%22request_index%22%5D%20%3D%20np.arange(1%2C%20len(s_aug)%20%2B%201)%0A%20%20%20%20s_aug%5B%22naive_cum%22%5D%20%3D%20s_aug%5B%22request_index%22%5D.astype(float)%0A%0A%20%20%20%20aug_long%20%3D%20pd.concat(%5B%0A%20%20%20%20%20%20%20%20s_aug%5B%5B%22request_index%22%2C%20%22naive_cum%22%5D%5D%0A%20%20%20%20%20%20%20%20.rename(columns%3D%7B%22naive_cum%22%3A%20%22value%22%7D)%0A%20%20%20%20%20%20%20%20.assign(series%3D%22Naive%20cumulative%20bookings%22)%2C%0A%20%20%20%20%20%20%20%20s_aug%5B%5B%22request_index%22%2C%20%22q_eff%22%5D%5D%0A%20%20%20%20%20%20%20%20.rename(columns%3D%7B%22q_eff%22%3A%20%22value%22%7D)%0A%20%20%20%20%20%20%20%20.assign(series%3D%22q_eff%20(cancel-adjusted)%22)%2C%0A%20%20%20%20%5D%2C%20ignore_index%3DTrue).sort_values(%5B%22series%22%2C%20%22request_index%22%5D).reset_index(drop%3DTrue)%0A%0A%20%20%20%20fig_aug%20%3D%20px.line(%0A%20%20%20%20%20%20%20%20aug_long%2C%20x%3D%22request_index%22%2C%20y%3D%22value%22%2C%20color%3D%22series%22%2C%0A%20%20%20%20%20%20%20%20line_dash%3D%22series%22%2C%0A%20%20%20%20%20%20%20%20category_orders%3D%7B%22series%22%3A%20%5B%22Naive%20cumulative%20bookings%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22q_eff%20(cancel-adjusted)%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20color_discrete_map%3D%7B%22Naive%20cumulative%20bookings%22%3A%20%22%231f77b4%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22q_eff%20(cancel-adjusted)%22%3A%20%22%232ca02c%22%7D%2C%0A%20%20%20%20%20%20%20%20labels%3D%7B%22request_index%22%3A%20%22Request%20index%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22value%22%3A%20%22Effective%20rooms%20committed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22series%22%3A%20%22%22%7D%2C%0A%20%20%20%20%20%20%20%20title%3D%22Naive%20vs.%20cancellation-adjusted%20occupancy%20along%20the%20strip%22%2C%0A%20%20%20%20)%0A%20%20%20%20fig_aug.update_layout(width%3D760%2C%20height%3D340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D10%2C%20r%3D10%2C%20t%3D50%2C%20b%3D10))%0A%20%20%20%20fig_aug%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20gap%20between%20the%20dotted%20and%20the%20solid%20line%20**is%20your%20overbooking%0A%20%20%20%20headroom**.%20At%20any%20point%20along%20the%20strip%2C%20the%20naive%20curve%20says%20%22we%20have%0A%20%20%20%20sold%20this%20many%20rooms%22%3B%20the%20solid%20curve%20says%20%22we%20expect%20this%20many%20guests%0A%20%20%20%20to%20actually%20show%20up%22.%20The%20difference%20grows%20as%20more%20risky%20bookings%20(high%0A%20%20%20%20cancellation%20probability)%20enter%20the%20strip.%0A%0A%20%20%20%20This%20is%20*exactly*%20the%20data%20structure%20you%20need%20to%20drive%20Q4%3A%20at%20every%0A%20%20%20%20request%2C%20check%20%24q_t%5E%7B%5Ctext%7Beff%7D%7D%24%20against%20capacity%2C%20not%20the%20raw%20count.%0A%0A%20%20%20%20*Forecast%20caveat.*%20We%20did%20not%20implement%20%24%5Cwidehat%7BD%7D_%7B%5Ctext%7Bremaining%7D%7D%24%0A%20%20%20%20above%20%E2%80%94%20that%20requires%20an%20arrival-rate%20model%20conditioned%20on%20calendar%0A%20%20%20%20position%20and%20current%20booking%20pace%2C%20which%20is%20**a%20deliberate%20exercise%0A%20%20%20%20left%20to%20you**.%20Hints%3A%0A%0A%20%20%20%20-%20Empirical%20booking%20curves%20(Notebook%201)%20give%20you%20a%20base%20rate.%0A%20%20%20%20-%20Day-of-week%20and%20month%20effects%20are%20visible%20in%20the%20data.%0A%20%20%20%20-%20The%20simplest%20forecast%3A%20scale%20historical%20bookings-per-remaining-day%0A%20%20%20%20%20%20by%20a%20seasonal%20multiplier.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%C2%A78.5%20%C2%B7%20From%20P(cancel)%20to%20an%20overbooking%20buffer%20(Q2%20bridge)%0A%0A%20%20%20%20The%20cancellation%20probabilities%20can%20be%20turned%20into%20a%20concrete%20buffer%0A%20%20%20%20number%20using%20the%20formula%20from%20%C2%A76%3A%0A%20%20%20%20%24%24n%5E%5Cstar%20%3D%20%5Cfrac%7Bc%7D%7B1%20-%20%5Cbar%7Bp%7D%7D%2C%20%5Cqquad%20%5Ctext%7Bbuffer%7D%20%3D%20n%5E%5Cstar%20-%20c%24%24%0A%20%20%20%20where%20%24c%24%20is%20capacity%20and%20%24%5Cbar%7Bp%7D%24%20is%20the%20mean%20predicted%20cancellation%0A%20%20%20%20probability%20for%20the%20current%20strip.%20The%20sliders%20below%20let%20you%20set%20the%0A%20%20%20%20capacity%20for%20this%20night%20and%20inspect%20the%20implied%20buffer%3B%20the%20expected%0A%20%20%20%20walk-aways%20follow%20from%20the%20variance%20of%20the%20per-row%20probabilities.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20buf_capacity%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D10%2C%20stop%3D200%2C%20value%3D80%2C%20step%3D2%2C%0A%20%20%20%20%20%20%20%20label%3D%22Capacity%20for%20this%20night%20(rooms)%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%20show_value%3DTrue%2C%20debounce%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20buf_walk_tol%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%20stop%3D0.10%2C%20value%3D0.02%2C%20step%3D0.005%2C%0A%20%20%20%20%20%20%20%20label%3D%22Tolerated%20walk%20rate%20(fraction%20of%20capacity)%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%20show_value%3DTrue%2C%20debounce%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bbuf_capacity%2C%20buf_walk_tol%5D)%0A%20%20%20%20return%20buf_capacity%2C%20buf_walk_tol%0A%0A%0A%40app.cell%0Adef%20_(buf_capacity%2C%20buf_walk_tol%2C%20mo%2C%20pipe%2C%20strip_full)%3A%0A%20%20%20%20feat_cols_b%20%3D%20list(pipe.named_steps%5B%22pre%22%5D.feature_names_in_)%0A%20%20%20%20p_cancel_strip%20%3D%20pipe.predict_proba(strip_full%5Bfeat_cols_b%5D)%5B%3A%2C%201%5D%0A%20%20%20%20p_bar%20%3D%20float(p_cancel_strip.mean())%0A%20%20%20%20p_var%20%3D%20float(p_cancel_strip.var())%0A%0A%20%20%20%20cap_b%20%3D%20int(buf_capacity.value)%0A%20%20%20%20walk_tol%20%3D%20float(buf_walk_tol.value)%0A%0A%20%20%20%20%23%20Point%20estimate%3A%20n*%20%3D%20c%20%2F%20(1%20-%20p_bar).%20Expected%20check-ins%20from%0A%20%20%20%20%23%20selling%20n*%20bookings%20%3D%20n*%20(1%20-%20p_bar)%20%3D%20c%2C%20by%20construction.%0A%20%20%20%20n_star%20%3D%20int(round(cap_b%20%2F%20max(1%20-%20p_bar%2C%201e-3)))%0A%20%20%20%20buffer%20%3D%20n_star%20-%20cap_b%0A%0A%20%20%20%20%23%20Variance%20of%20check-ins%20under%20independent%20Bernoulli%20model%3A%0A%20%20%20%20%23%20Var(checkins)%20%3D%20sum%20p_i%20(1%20-%20p_i).%20Approximate%20using%20the%20strip's%0A%20%20%20%20%23%20empirical%20Bernoulli%20variance%20and%20scale%20by%20n*.%0A%20%20%20%20expected_var_per_row%20%3D%20float((p_cancel_strip%20*%20(1%20-%20p_cancel_strip)).mean())%0A%20%20%20%20walks_sd%20%3D%20(n_star%20*%20expected_var_per_row)%20**%200.5%0A%0A%20%20%20%20%23%20check-ins%20~%20N(cap_b%2C%20walks_sd)%20by%20construction%20(E%5Bcheckins%5D%20%3D%20cap_b).%0A%20%20%20%20%23%20walks%20%3D%20max(checkins%20-%20cap_b%2C%200).%20For%20a%20normal%20centred%20at%20cap_b%3A%0A%20%20%20%20%23%20%20%20E%5Bwalks%5D%20%3D%20walks_sd%20%2F%20sqrt(2*pi)%20%20(half-normal%20expectation)%0A%20%20%20%20%23%20%20%20P(walks%20%3E%20tol)%20%3D%20P(checkins%20%3E%20cap_b%20%2B%20tol)%20%3D%201%20-%20Phi(tol%20%2F%20walks_sd)%0A%20%20%20%20from%20math%20import%20erf%2C%20pi%2C%20sqrt%0A%20%20%20%20tol_walks%20%3D%20walk_tol%20*%20cap_b%0A%20%20%20%20mean_walks%20%3D%20walks_sd%20%2F%20sqrt(2%20*%20pi)%0A%20%20%20%20if%20walks_sd%20%3E%200%3A%0A%20%20%20%20%20%20%20%20z%20%3D%20tol_walks%20%2F%20walks_sd%0A%20%20%20%20%20%20%20%20prob_exceed%20%3D%200.5%20*%20(1%20-%20erf(z%20%2F%20sqrt(2)))%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20prob_exceed%20%3D%200.0%0A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22**Strip-derived%20inputs**%5Cn%22%0A%20%20%20%20%20%20%20%20f%22-%20Mean%20predicted%20cancellation%20probability%20%24%5C%5Cbar%7B%7Bp%7D%7D%24%20%3D%20**%7Bp_bar%3A.3f%7D**%5Cn%22%0A%20%20%20%20%20%20%20%20f%22-%20Per-row%20variance%20of%20%24%5C%5Chat%7B%7Bp%7D%7D%24%20%3D%20**%7Bp_var%3A.3f%7D**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22**Buffer%20recommendation**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22%7C%20Quantity%20%7C%20Value%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20f%22%7C---%7C---%3A%7C%5Cn%22%0A%20%20%20%20%20%20%20%20f%22%7C%20Capacity%20%24c%24%20%7C%20%7Bcap_b%7D%20rooms%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20f%22%7C%20Mean%20cancel%20rate%20%24%5C%5Cbar%7B%7Bp%7D%7D%24%20%7C%20%7Bp_bar%3A.1%25%7D%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20f%22%7C%20Bookings%20to%20sell%20%24n%5E%5C%5Cstar%20%3D%20c%20%2F%20(1%20-%20%5C%5Cbar%7B%7Bp%7D%7D)%24%20%7C%20**%7Bn_star%7D**%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20f%22%7C%20**Buffer%20%24n%5E%5C%5Cstar%20-%20c%24**%20%7C%20**%7Bbuffer%7D**%20rooms%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20f%22%7C%20Expected%20walk-aways%20%7C%20%7Bmean_walks%3A.1f%7D%20(sd%20of%20check-ins%20%E2%89%88%20%7Bwalks_sd%3A.1f%7D)%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20f%22%7C%20Tolerated%20walk%20count%20(at%20%7Bwalk_tol%3A.1%25%7D%20of%20capacity)%20%7C%20%7Btol_walks%3A.1f%7D%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20f%22%7C%20Approximate%20P(walks%20%3E%20tolerance)%20%7C%20%7Bprob_exceed%3A.1%25%7D%20%7C%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20f%22*Move%20the%20capacity%20slider%20to%20see%20how%20the%20buffer%20scales%20with%20the%20room%20%22%0A%20%20%20%20%20%20%20%20f%22count.*%20The%20tolerated%20walk%20rate%20determines%20how%20risky%20a%20buffer%20you%20%22%0A%20%20%20%20%20%20%20%20f%22are%20willing%20to%20run%3B%20the%20probability%20column%20tells%20you%20how%20often%20this%20%22%0A%20%20%20%20%20%20%20%20f%22buffer%20would%20breach%20the%20tolerance%20under%20a%20Poisson-binomial%20check-in%20%22%0A%20%20%20%20%20%20%20%20f%22model.%20**None%20of%20these%20numbers%20are%20case%20answers**%20%E2%80%94%20they%20are%20what%20%22%0A%20%20%20%20%20%20%20%20f%22the%20strip's%20prediction%20layer%20gives%20you%20when%20you%20ask%20it%20for%20an%20%22%0A%20%20%20%20%20%20%20%20f%22overbooking%20number.%20Justify%20your%20final%20Q2%20choice%20with%20the%20case's%20%22%0A%20%20%20%20%20%20%20%20f%22walk-cost%20economics%2C%20not%20just%20this%20calculator.%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20%C2%A79%20%C2%B7%20Scikit-Learn%20Workflow%20Refresher%0A%0A%20%20%20%20The%20closing%20slide%20reminds%20you%20of%20the%20canonical%20pipeline%3A%0A%0A%20%20%20%201.%20**Select**%20rows%20and%20feature%20columns%20(mind%20leakage).%0A%20%20%20%202.%20**Preprocess**%20%E2%80%94%20impute%20missing%20values%2C%20encode%20categoricals.%0A%20%20%20%203.%20**Split**%20into%20train%20and%20test%20with%20%60train_test_split%60.%0A%20%20%20%204.%20**Fit**%20a%20classifier%20or%20regressor.%0A%20%20%20%205.%20**Evaluate**%20with%20the%20right%20metric%20for%20your%20downstream%20decision.%0A%20%20%20%206.%20**Wrap**%20preprocessing%20%2B%20model%20in%20a%20%60Pipeline%60%20so%20you%20can%20score%0A%20%20%20%20%20%20%20new%20data%20with%20one%20call.%0A%20%20%20%207.%20**Validate**%20with%20cross-validation%3B%20check%20for%20overfitting.%0A%0A%20%20%20%20Compare%20against%20the%20%C2%A76%20cell%20above%20%E2%80%94%20every%20step%20is%20there.%20Three%0A%20%20%20%20practical%20tips%20you%20will%20not%20regret%20following%20in%20your%20write-up%3A%0A%0A%20%20%20%20-%20**Stratify**%20the%20train%2Ftest%20split%20when%20classes%20are%20imbalanced.%0A%20%20%20%20-%20**Report%20the%20metric%20that%20matches%20the%20cost%20structure.**%20For%0A%20%20%20%20%20%20overbooking%2C%20*Brier%20score*%20and%20calibration%20matter%20more%20than%20accuracy.%0A%20%20%20%20-%20**Document%20feature%20exclusions.**%20A%20one-paragraph%20%22what%20we%20did%20not%0A%20%20%20%20%20%20use%2C%20and%20why%22%20is%20worth%20more%20than%20another%200.01%20of%20AUC.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Methods%20Recap%20(across%20all%20three%20notebooks)%0A%0A%20%20%20%20You%20have%20now%20seen%20each%20method%20the%20week-2%20deck%20introduces%2C%20executed%20on%0A%20%20%20%20the%20actual%20Viador%20data%3A%0A%0A%20%20%20%20-%20empirical%20booking%20curves%20and%20joint%20ADR%20%C3%97%20lead-time%20structure%20*(NB1)*%3B%0A%20%20%20%20-%20booking-strip%20extraction%20for%20a%20chosen%20stay%20night%20*(NB2)*%3B%0A%20%20%20%20-%20inventory%20simulation%20with%20a%20fixed%20protection%20level%2C%20surfaced%20as%20a%0A%20%20%20%20%20%20spoilage%2Fspillage%20trade-off%20*(NB2)*%3B%0A%20%20%20%20-%20the%20state-space%20index%20%24S%20%3D%20%5Cdfrac%7Bq%7D%7B%5Ctau%5C%2C%5Clambda%7D%24%20*(NB2)*%3B%0A%20%20%20%20-%20a%20leakage-aware%20sklearn%20pipeline%20for%20cancellation%20probability%2C%0A%20%20%20%20%20%20evaluated%20by%20AUC%20*and*%20calibration%20*(NB3)*%3B%0A%20%20%20%20-%20the%20cancellation-adjusted%20occupancy%20%24q%5E%7B%5Ctext%7Beff%7D%7D_t%24%20*(NB3)*.%0A%0A%20%20%20%20None%20of%20these%20*are*%20answers.%20They%20are%20the%20moving%20parts.%20The%20case%0A%20%20%20%20write-up%20is%20about%20which%20moving%20parts%20you%20choose%2C%20how%20you%20parameterise%0A%20%20%20%20them%2C%20and%20how%20you%20defend%20the%20choices%20given%20the%20data%20%E2%80%94%20including%20the%0A%20%20%20%20pieces%20of%20analysis%20(per-hotel%2C%20per-season%2C%20channel-level)%20that%20these%0A%20%20%20%20notebooks%20deliberately%20keep%20pooled.%0A%0A%20%20%20%20Good%20luck.%20If%20you%20get%20stuck%2C%20post%20in%20the%20channel%20%E2%80%94%20I%20will%20read%20and%0A%20%20%20%20reply%20asynchronously.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A