AIS Tutorial 2: Data Integration & Quality

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22polars%22%2C%0A%23%20%20%20%20%20%22plotly%22%2C%0A%23%20%20%20%20%20%22requests%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.6%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22AIS%20Tutorial%202%3A%20Data%20Integration%20%26%20Quality%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Tutorial%202%3A%20Data%20Integration%20%26%20Quality%0A%0A%20%20%20%20This%20tutorial%20provides%20hands-on%20practice%20with%20data%20integration%20concepts%20from%20Lecture%202%20(pipelines)%20and%20the%20semi-structured%20data%20patterns%20introduced%20in%20Block%20I.%0A%0A%20%20%20%20**Topics%3A**%0A%20%20%20%20-%20Working%20with%20JSON%20data%0A%20%20%20%20-%20Data%20quality%20assessment%0A%20%20%20%20-%20Cleaning%20and%20transformation%0A%20%20%20%20-%20Combining%20data%20from%20multiple%20sources%0A%0A%20%20%20%20**Exercise%20Types%3A**%0A%20%20%20%20-%20%F0%9F%9F%A1%20**Scaffolded**%3A%20Partial%20solution%20to%20complete%0A%20%20%20%20-%20%F0%9F%94%B5%20**Independent**%3A%20Write%20your%20own%20solution%0A%20%20%20%20-%20%E2%AD%90%20**Challenge**%3A%20Open-ended%20exploration%0A%0A%20%20%20%20---%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Real-World%20Context%3A%20Uber's%20Big%20Data%20Platform%0A%0A%20%20%20%20Uber%20processes%20**100%2B%20petabytes**%20of%20data%20with%20minute-level%20latency%2C%20integrating%20data%20from%20rides%2C%20payments%2C%20maps%2C%20and%20support%20across%20dozens%20of%20services.%20Their%20data%20platform%20team%20had%20to%20solve%20the%20exact%20challenges%20you'll%20practice%20today%3A%20parsing%20heterogeneous%20data%20formats%2C%20ensuring%20quality%20across%20sources%2C%20and%20building%20pipelines%20that%20combine%20it%20all%20reliably.%0A%0A%20%20%20%20**As%20you%20work%20through%20this%20tutorial%2C%20consider%3A**%20How%20do%20the%20data%20quality%20issues%20you%20encounter%20in%20a%20small%20dataset%20compare%20to%20what%20happens%20when%20those%20same%20issues%20exist%20across%20billions%20of%20records%3F%0A%0A%20%20%20%20%3E%20Read%20more%3A%20%5BUber's%20Big%20Data%20Platform%3A%20100%2B%20Petabytes%20with%20Minute%20Latency%5D(https%3A%2F%2Feng.uber.com%2Fuber-big-data-platform%2F)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20json%0A%0A%20%20%20%20%23%20Sample%20datasets%20with%20data%20quality%20issues%0A%20%20%20%20customers_raw%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22id%22%3A%20%5B1%2C%202%2C%203%2C%204%2C%205%2C%206%2C%207%5D%2C%0A%20%20%20%20%20%20%20%20%22name%22%3A%20%5B%22Alice%22%2C%20%22BOB%22%2C%20%22carol%22%2C%20%22%20%20David%20%20%22%2C%20%22Eva%22%2C%20None%2C%20%22Frank%22%5D%2C%0A%20%20%20%20%20%20%20%20%22email%22%3A%20%5B%22alice%40example.com%22%2C%20%22bob%40example%22%2C%20%22carol%40example.com%22%2C%20%22david%40example.com%22%2C%20%22eva%40example.com%22%2C%20%22grace%40example.com%22%2C%20%22frank%40example.com%22%5D%2C%0A%20%20%20%20%20%20%20%20%22city%22%3A%20%5B%22Berlin%22%2C%20%22berlin%22%2C%20%22MUNICH%22%2C%20%22Hamburg%22%2C%20%22munich%22%2C%20%22Berlin%22%2C%20%22N%2FA%22%5D%2C%0A%20%20%20%20%20%20%20%20%22signup_date%22%3A%20%5B%222023-01-15%22%2C%20%222023%2F02%2F20%22%2C%20%22Jan%2010%2C%202023%22%2C%20%222023-03-05%22%2C%20%222023-02-15%22%2C%20%222023-04-01%22%2C%20None%5D%2C%0A%20%20%20%20%20%20%20%20%22age%22%3A%20%5B28%2C%2035%2C%20-5%2C%2042%2C%20150%2C%2031%2C%2029%5D%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20orders_raw%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22order_id%22%3A%20%5B101%2C%20102%2C%20102%2C%20103%2C%20104%2C%20105%5D%2C%20%20%23%20Note%3A%20102%20is%20duplicated%0A%20%20%20%20%20%20%20%20%22customer_id%22%3A%20%5B1%2C%201%2C%201%2C%202%2C%203%2C%20999%5D%2C%20%20%23%20Note%3A%20999%20doesn't%20exist%20in%20customers%0A%20%20%20%20%20%20%20%20%22amount%22%3A%20%5B150.00%2C%20200.00%2C%20200.00%2C%20None%2C%20300.00%2C%20100.00%5D%2C%0A%20%20%20%20%20%20%20%20%22currency%22%3A%20%5B%22EUR%22%2C%20%22USD%22%2C%20%22USD%22%2C%20%22EUR%22%2C%20%22EUR%22%2C%20%22GBP%22%5D%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20%23%20JSON%20data%20sample%0A%20%20%20%20api_response%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22status%22%3A%20%22success%22%2C%0A%20%20%20%20%20%20%20%20%22data%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22users%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22id%22%3A%20101%2C%20%22profile%22%3A%20%7B%22name%22%3A%20%22Max%22%2C%20%22location%22%3A%20%7B%22city%22%3A%20%22Berlin%22%2C%20%22country%22%3A%20%22DE%22%7D%7D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22id%22%3A%20102%2C%20%22profile%22%3A%20%7B%22name%22%3A%20%22Anna%22%2C%20%22location%22%3A%20%7B%22city%22%3A%20%22Vienna%22%2C%20%22country%22%3A%20%22AT%22%7D%7D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22id%22%3A%20103%2C%20%22profile%22%3A%20%7B%22name%22%3A%20%22Tom%22%2C%20%22location%22%3A%20%7B%22city%22%3A%20%22Zurich%22%2C%20%22country%22%3A%20%22CH%22%7D%7D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22metadata%22%3A%20%7B%22total%22%3A%203%2C%20%22page%22%3A%201%7D%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%0A%20%20%20%20return%20api_response%2C%20customers_raw%2C%20json%2C%20orders_raw%2C%20pl%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Part%201%3A%20Exploring%20Data%20Quality%20Issues%0A%0A%20%20%20%20Let's%20examine%20a%20%22messy%22%20dataset%20and%20identify%20data%20quality%20problems.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%201.1%3A%20Inspect%20the%20Raw%20Data%0A%0A%20%20%20%20First%2C%20let's%20look%20at%20the%20raw%20customer%20data%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20*%0A%20%20%20%20%20%20%20%20FROM%20customers_raw%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%94%B5%20Exercise%201.2%3A%20Identify%20Data%20Quality%20Issues%0A%0A%20%20%20%20Look%20at%20the%20data%20above%20and%20list%20the%20data%20quality%20issues%20you%20can%20spot.%0A%0A%20%20%20%20**Hint%3A**%20Consider%3A%0A%20%20%20%20-%20Missing%20values%20(NULL)%0A%20%20%20%20-%20Inconsistent%20formats%0A%20%20%20%20-%20Invalid%20values%0A%20%20%20%20-%20Duplicates%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%94%B5%20Exercise%201.3%3A%20Check%20for%20Duplicates%0A%0A%20%20%20%20Look%20at%20the%20orders_raw%20table%20and%20find%20duplicates%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20*%0A%20%20%20%20%20%20%20%20FROM%20orders_raw%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Count%20occurrences%20of%20each%20order_id%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20order_id%2C%20COUNT(*)%20as%20count%0A%20%20%20%20%20%20%20%20FROM%20orders_raw%0A%20%20%20%20%20%20%20%20GROUP%20BY%20order_id%0A%20%20%20%20%20%20%20%20HAVING%20COUNT(*)%20%3E%201%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Part%202%3A%20Data%20Cleaning%20with%20Python%2FPolars%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%202.1%3A%20Normalize%20Text%20Case%0A%0A%20%20%20%20Use%20Polars%20to%20standardize%20the%20%60name%60%20column%20to%20title%20case%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(customers_raw%2C%20pl)%3A%0A%20%20%20%20%23%20Normalize%20name%20to%20title%20case%0A%20%20%20%20customers_name_fixed%20%3D%20customers_raw.with_columns(%0A%20%20%20%20%20%20%20%20pl.col(%22name%22).str.to_titlecase().alias(%22name_clean%22)%0A%20%20%20%20)%0A%20%20%20%20customers_name_fixed.select(%5B%22name%22%2C%20%22name_clean%22%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%9F%A1%20Exercise%202.2%3A%20Remove%20Whitespace%0A%0A%20%20%20%20Complete%20the%20code%20to%20strip%20whitespace%20from%20the%20name%20column%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(customers_raw%2C%20pl)%3A%0A%20%20%20%20%23%20Complete%3A%20strip%20whitespace%20from%20name%0A%20%20%20%20customers_trimmed%20%3D%20customers_raw.with_columns(%0A%20%20%20%20%20%20%20%20pl.col(%22name%22).str.strip_chars().alias(%22name_trimmed%22)%0A%20%20%20%20%20%20%20%20%23%20Add%3A%20also%20apply%20to_titlecase()%0A%20%20%20%20)%0A%20%20%20%20customers_trimmed.select(%5B%22name%22%2C%20%22name_trimmed%22%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%94%B5%20Exercise%202.3%3A%20Handle%20Missing%20Values%0A%0A%20%20%20%20Replace%20NULL%20names%20with%20%22Unknown%22%20and%20%22N%2FA%22%20cities%20with%20NULL%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(customers_raw%2C%20pl)%3A%0A%20%20%20%20%23%20Your%20solution%20here%0A%20%20%20%20customers_nulls_fixed%20%3D%20customers_raw.with_columns(%5B%0A%20%20%20%20%20%20%20%20%23%20Fill%20NULL%20names%20with%20%22Unknown%22%0A%20%20%20%20%20%20%20%20pl.col(%22name%22).fill_null(%22Unknown%22).alias(%22name%22)%2C%0A%20%20%20%20%20%20%20%20%23%20Replace%20%22N%2FA%22%20with%20null%20in%20city%0A%20%20%20%20%20%20%20%20pl.when(pl.col(%22city%22)%20%3D%3D%20%22N%2FA%22)%0A%20%20%20%20%20%20%20%20%20%20.then(None)%0A%20%20%20%20%20%20%20%20%20%20.otherwise(pl.col(%22city%22))%0A%20%20%20%20%20%20%20%20%20%20.alias(%22city_clean%22)%0A%20%20%20%20%5D)%0A%20%20%20%20customers_nulls_fixed.select(%5B%22name%22%2C%20%22city%22%2C%20%22city_clean%22%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%94%B5%20Exercise%202.4%3A%20Filter%20Invalid%20Values%0A%0A%20%20%20%20Filter%20out%20rows%20where%20age%20is%20negative%20or%20greater%20than%20120%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(customers_raw%2C%20pl)%3A%0A%20%20%20%20%23%20Filter%20valid%20ages%0A%20%20%20%20customers_valid_age%20%3D%20customers_raw.filter(%0A%20%20%20%20%20%20%20%20(pl.col(%22age%22)%20%3E%3D%200)%20%26%20(pl.col(%22age%22)%20%3C%3D%20120)%0A%20%20%20%20)%0A%20%20%20%20customers_valid_age%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%9F%A1%20Exercise%202.5%3A%20Remove%20Duplicates%0A%0A%20%20%20%20Remove%20duplicate%20orders%20(keep%20the%20first%20occurrence)%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(orders_raw)%3A%0A%20%20%20%20%23%20Remove%20duplicates%20based%20on%20order_id%0A%20%20%20%20orders_deduped%20%3D%20orders_raw.unique(subset%3D%5B%22order_id%22%5D%2C%20keep%3D%22first%22)%0A%20%20%20%20orders_deduped%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Part%203%3A%20Working%20with%20JSON%20Data%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%203.1%3A%20Explore%20JSON%20Structure%0A%0A%20%20%20%20Here's%20a%20sample%20API%20response.%20Let's%20explore%20its%20structure%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(api_response%2C%20json%2C%20mo)%3A%0A%20%20%20%20%23%20Pretty%20print%20the%20JSON%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%60%60%60json%0A%20%20%20%20%7Bjson.dumps(api_response%2C%20indent%3D2)%7D%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%9F%A1%20Exercise%203.2%3A%20Extract%20Nested%20Data%0A%0A%20%20%20%20Extract%20the%20user%20data%20from%20the%20nested%20JSON%20structure%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(api_response%2C%20pl)%3A%0A%20%20%20%20%23%20Extract%20users%20list%20from%20nested%20JSON%0A%20%20%20%20users_list%20%3D%20api_response%5B%22data%22%5D%5B%22users%22%5D%0A%0A%20%20%20%20%23%20Convert%20to%20DataFrame%0A%20%20%20%20users_df%20%3D%20pl.DataFrame(%5B%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22id%22%3A%20user%5B%22id%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20user%5B%22profile%22%5D%5B%22name%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22city%22%3A%20user%5B%22profile%22%5D%5B%22location%22%5D%5B%22city%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22country%22%3A%20user%5B%22profile%22%5D%5B%22location%22%5D%5B%22country%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20for%20user%20in%20users_list%0A%20%20%20%20%5D)%0A%20%20%20%20users_df%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%94%B5%20Exercise%203.3%3A%20Using%20json_normalize%20(Pandas%20style)%0A%0A%20%20%20%20Polars%20doesn't%20have%20json_normalize%2C%20but%20we%20can%20use%20list%20comprehension%20as%20shown%20above.%0A%0A%20%20%20%20**Challenge%3A**%20Add%20the%20metadata%20(total%2C%20page)%20as%20columns%20to%20each%20row%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(api_response%2C%20pl)%3A%0A%20%20%20%20%23%20Extract%20with%20metadata%0A%20%20%20%20users_list_v2%20%3D%20api_response%5B%22data%22%5D%5B%22users%22%5D%0A%20%20%20%20metadata%20%3D%20api_response%5B%22data%22%5D%5B%22metadata%22%5D%0A%0A%20%20%20%20users_with_meta%20%3D%20pl.DataFrame(%5B%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22id%22%3A%20user%5B%22id%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20user%5B%22profile%22%5D%5B%22name%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22city%22%3A%20user%5B%22profile%22%5D%5B%22location%22%5D%5B%22city%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22country%22%3A%20user%5B%22profile%22%5D%5B%22location%22%5D%5B%22country%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22total_records%22%3A%20metadata%5B%22total%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22page%22%3A%20metadata%5B%22page%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20for%20user%20in%20users_list_v2%0A%20%20%20%20%5D)%0A%20%20%20%20users_with_meta%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Part%204%3A%20Data%20Integration%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%94%B5%20Exercise%204.1%3A%20Identify%20Referential%20Integrity%20Issues%0A%0A%20%20%20%20Find%20orders%20that%20reference%20non-existent%20customers%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20o.*%0A%20%20%20%20%20%20%20%20FROM%20orders_raw%20o%0A%20%20%20%20%20%20%20%20LEFT%20JOIN%20customers_raw%20c%20ON%20o.customer_id%20%3D%20c.id%0A%20%20%20%20%20%20%20%20WHERE%20c.id%20IS%20NULL%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%E2%AD%90%20Challenge%204.2%3A%20Complete%20Data%20Cleaning%20Pipeline%0A%0A%20%20%20%20Create%20a%20complete%20cleaning%20pipeline%20that%3A%0A%20%20%20%201.%20Standardizes%20customer%20names%20(trim%20%2B%20title%20case)%0A%20%20%20%202.%20Normalizes%20city%20names%20to%20title%20case%0A%20%20%20%203.%20Removes%20invalid%20ages%0A%20%20%20%204.%20Removes%20duplicate%20orders%0A%20%20%20%205.%20Only%20keeps%20orders%20with%20valid%20customer%20references%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(customers_raw%2C%20orders_raw%2C%20pl)%3A%0A%20%20%20%20%23%20Step%201%3A%20Clean%20customers%0A%20%20%20%20customers_clean%20%3D%20(%0A%20%20%20%20%20%20%20%20customers_raw%0A%20%20%20%20%20%20%20%20.with_columns(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22name%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20.fill_null(%22Unknown%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20.str.strip_chars()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20.str.to_titlecase()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20.alias(%22name%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22city%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20.str.to_titlecase()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20.alias(%22city%22)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20.filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20(pl.col(%22age%22)%20%3E%3D%200)%20%26%20(pl.col(%22age%22)%20%3C%3D%20120)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Step%202%3A%20Clean%20orders%0A%20%20%20%20orders_clean%20%3D%20(%0A%20%20%20%20%20%20%20%20orders_raw%0A%20%20%20%20%20%20%20%20.unique(subset%3D%5B%22order_id%22%5D%2C%20keep%3D%22first%22)%0A%20%20%20%20%20%20%20%20.filter(pl.col(%22amount%22).is_not_null())%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Step%203%3A%20Only%20keep%20orders%20with%20valid%20customer%20references%0A%20%20%20%20valid_customer_ids%20%3D%20customers_clean.select(%22id%22).to_series().to_list()%0A%20%20%20%20orders_final%20%3D%20orders_clean.filter(%0A%20%20%20%20%20%20%20%20pl.col(%22customer_id%22).is_in(valid_customer_ids)%0A%20%20%20%20)%0A%0A%20%20%20%20print(f%22Clean%20customers%3A%20%7Blen(customers_clean)%7D%20rows%22)%0A%20%20%20%20print(f%22Clean%20orders%3A%20%7Blen(orders_final)%7D%20rows%22)%0A%20%20%20%20return%20customers_clean%2C%20orders_final%0A%0A%0A%40app.cell%0Adef%20_(customers_clean)%3A%0A%20%20%20%20customers_clean%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(orders_final)%3A%0A%20%20%20%20orders_final%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Part%205%3A%20Data%20Quality%20Metrics%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%E2%AD%90%20Challenge%205.1%3A%20Calculate%20Completeness%0A%0A%20%20%20%20Calculate%20the%20completeness%20(%25%20non-null)%20for%20each%20column%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(customers_raw%2C%20pl)%3A%0A%20%20%20%20%23%20Calculate%20completeness%20for%20each%20column%0A%20%20%20%20total_rows%20%3D%20len(customers_raw)%0A%0A%20%20%20%20completeness%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22column%22%3A%20customers_raw.columns%2C%0A%20%20%20%20%20%20%20%20%22non_null_count%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20customers_raw.select(pl.col(col).is_not_null().sum()).item()%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20col%20in%20customers_raw.columns%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%22total_rows%22%3A%20%5Btotal_rows%5D%20*%20len(customers_raw.columns)%2C%0A%20%20%20%20%7D).with_columns(%0A%20%20%20%20%20%20%20%20(pl.col(%22non_null_count%22)%20%2F%20pl.col(%22total_rows%22)%20*%20100).round(1).alias(%22completeness_pct%22)%0A%20%20%20%20)%0A%0A%20%20%20%20completeness%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20In%20this%20tutorial%20you%20practiced%3A%0A%0A%20%20%20%20-%20%E2%9C%85%20Identifying%20data%20quality%20issues%0A%20%20%20%20-%20%E2%9C%85%20Normalizing%20text%20(case%2C%20whitespace)%0A%20%20%20%20-%20%E2%9C%85%20Handling%20missing%20values%20and%20placeholders%0A%20%20%20%20-%20%E2%9C%85%20Filtering%20invalid%20data%0A%20%20%20%20-%20%E2%9C%85%20Removing%20duplicates%0A%20%20%20%20-%20%E2%9C%85%20Parsing%20nested%20JSON%0A%20%20%20%20-%20%E2%9C%85%20Checking%20referential%20integrity%0A%20%20%20%20-%20%E2%9C%85%20Building%20cleaning%20pipelines%0A%20%20%20%20-%20%E2%9C%85%20Calculating%20data%20quality%20metrics%0A%0A%20%20%20%20**Key%20Takeaway%3A**%20Data%20cleaning%20is%20iterative.%20Document%20your%20decisions%20and%20always%20validate%20your%20results!%0A%0A%20%20%20%20**Next%20Tutorial%3A**%20Visualization%20%26%20BI%20%E2%80%94%20turning%20clean%20data%20into%20insights.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Reflection%3A%20From%20Tutorial%20to%20Production%0A%0A%20%20%20%20Having%20practiced%20data%20integration%20and%20quality%20assessment%2C%20consider%20these%20questions%3A%0A%0A%20%20%20%201.%20**Scale%3A**%20You%20cleaned%20a%20few%20hundred%20rows.%20Uber%20processes%20100%2B%20PB.%20Which%20of%20the%20quality%20checks%20you%20wrote%20would%20still%20work%20at%20that%20scale%3F%20Which%20would%20need%20a%20different%20approach%3F%0A%20%20%20%202.%20**Automation%3A**%20You%20manually%20inspected%20data%20quality%20issues.%20How%20would%20you%20automate%20the%20detection%20of%20the%20problems%20you%20found%3F%0A%20%20%20%203.%20**Trade-offs%3A**%20When%20is%20%22good%20enough%22%20data%20quality%20acceptable%3F%20When%20is%20it%20not%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%20Free%20Practice%0A%0A%20%20%20%20Use%20this%20cell%20to%20experiment%20with%20data%20cleaning%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Free%20practice%20area%0A%20%20%20%20_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20*%0A%20%20%20%20%20%20%20%20FROM%20customers_raw%0A%20%20%20%20%20%20%20%20LIMIT%205%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A