Thank you, Ann Emery and thanks especially to the visitors of www.AnnKEmery.com. It meant a lot to be asked to do a guest blogpost because Ann’s approach is practical, focused on real-world experience, and her dedication to empowerment of others is a key theme at my own site, DataScopic.net.
I’ve been working with Excel and data for 15 years and developed a skill for scrubbing data. So, data quality is always on my mind. This year, I’m teaching more workshops so that others are empowered to manage their own data quality and develop sound spreadsheets.
Hopefully, you’ll find this blogpost useful. Please comment, ask questions and be in touch.
– Oz du Soleil
Today, we’re going to discuss data quality, messy data, or, as I’ve described in several blogposts, crap data. As a complement to this post, there is a dataset of 455 rows for us to work. Click here to download the sample dataset.
WE HAVE OUR DATA: What Do We Want To Know?
We want to dig in and find out things like:
Of the members we had in 2009, how many are still active members?
What were the 2010 donation amounts of the currently active vs. inactive members?
What were the 2008-2010 donations for the states where we plan to close offices: IN, MA and SC?
What were the 2008 donation totals of the Gold, Platinum and Lifetime members?
Are our Lifetime members clustered in a region, in a few states or, is there no correlation between residence and Lifetime membership?
This is so easy with pivot tables. You don’t need subtotals or SUMIFS formulae. But …
QUESTION: Can We Trust This Data?
A clever use of pivot tables is to throw your information into a pivot table as soon as it arrives at your desk. There are two things that we want to know before we start our analysis:
What are we dealing with?
We have states in the dataset. Do we have 50 states and Washington, DC? How about Puerto Rico, Guam and US Virgin Islands?
For Marital Status, do we have Married, Single, Widowed, Divorced and Domestic Partnership? Or, just Married or Single?
Is this clean?
Are there empty fields? Where are they and are they critical? We can live with a missing fax number, we can’t live without a missing membership level.
Are there any duplicates that need to be merged into single entries?
Is there anything just plain bizarre? Are there complete addresses in the State field or, “NOV” in a field that should only have YES or NO?)
Don’t make a single bar chart or summary table until we know the answers to those two questions.
ANSWER: Use A Pivot Table to Assess Data Quality
The old way of checking our data quality would be to scroll through, eyeballing for obvious duplicates; we would sort by the State field and eyeball through for blanks and nonsensical entries.
That is painful, tedious, and time-consuming. Eyeballing datasets is also prone to errors and must end. TODAY. Rest your eyes. A pivot table can save hours or even days, depending on the size and complexity of the dataset.
In this video, I generate a pivot table and focus only on the data quality. We see that there are duplicates and bizarre information that render the dataset untrustworthy until we get it cleaned up. As you watch the video, don’t focus too much on the results or the “how to.” Instead, listen to the thought process and questions I ask about the dataset.
Now we know:
What are we dealing with?
There are 25 states represented in our dataset, including Puerto Rico. Eight people aren’t assigned to a state.
There are 5 membership levels: Rookie, Silver, Gold, Platinum, and Lifetime.
There are 422 members.
In terms of marital status, we only have Married and Single options represented in the dataset.
We also know our donation levels between 2008 and 2010.
Is this clean? NO!
Kenneth is in the dataset 5 times. Adara is represented 3 times.
There are 422 members and 455 rows of data. That’s 33 rows too many. They need to be investigated and merged into single entries.
“17” is not a state. The people who live in “17” need to be researched and corrected. Also, review the data-entry process to see how that was allowed.
There are 56 people whose active/inactive status is unknown.
NOW WHAT? Conclusions
The dataset has to be scrubbed. More importantly, Ann said it best in one of our conversations: “The main skill in working with data is developing your personal computer program: your brain.”
One goal of the video is to show how to think through the ways we might expose crap data. Using pivot tables eliminates the need to eyeball for errant data. This minimizes the filtering, sorting and scrolling that we’d otherwise use. Pivot tables save time and yield more accurate insight than our old ways.
For many years this wasn’t something I even thought of, and I was pretty darned lucky that nothing went wrong. Eventually I just got embarrassed when my boss kept noticing things that didn’t add up. The problem wasn’t my math. It was naive trust of the data that had been handed to me.
I’m curious. How do you go about investigating data quality? How much time do you spend on it? What happens when you expose miscreant information?
stop sign photo credit: ladybeames via photopin cc
Oz du Soleil is a Chicago-based Excel instructor and evangelist for clean data, sriracha and bowties. You can find Oz at Google+ and his website: DataScopic.net.
What a fabulous post! I would never have thought of a pivot table as a data cleaning tool. I’ve only used pivot tables after cleaning the data! Thanks for a great tutorial!
Great tutorial. We use conditional formatting within the dataset to identify and color code duplicates, outliers, missing data etc. to foster clean up.
Jessica, it’d be great to see the conditional formatting implemented. Do you blog?
(Hmmm … you give me ideas about how to use the conditional formatting.)
Jessica Weitzel
Apr 10, 2013 -
Hi Oz. Ann has some great examples that are similar to many of the things we do here: emeryevaluation.com/excel/exploring/. I do not have a blog (I keep meaning to, but projects get in the way). We can chat by email (jessica [at] viaevaluation.com], too.
What Does It Cost To Clean My Data? – Data Management Chicago | DataScopic
[…] did a guest blogpost for Ann Emery at EmeryEvaluation.com called Pivot Table: Your Tool for Exposing Miscreant Data. This is a small glimpse into the reconnaissance before the actual kidnapping of […]
6 Quiet Habits for Working with Data & Excel – Excel & Data Training Chicago | DataScopic
[…] starting and what you’re starting with. I detail that as Ann Emery’s guest blogger at Pivot Tables: Your Tool for Exposing Miscreant Data. Pivot tables are known for their ease of presenting data multiples way. However, there […]
BFTBY: Keep Your Data In One Place, Don't Work So Hard! – Excel & Data Training Chicago | DataScopic
[…] a whole lot of data and you aren’t sure of the quality? Throw it into an Excel pivot table, use some conditional formatting, write a few formulas and uncover what’s […]
Agen Togel Resmi dengan Hadiah 4D 10 Juta di Tahun 2024
Kumpulan agen togel terbaik dengan hadiah-hadiah terbesar yang jarang anda temukan. kami menyediakan permainan togel online yang memiliki hadiah 4D Terbesar di tahun 2024, dimana anda kan merasakan hadiah 4d 10 juta. bagi anda pemain togel jangan ragu karena Situs Togel ini sudah resmi terpercaya dengan pembayaran yang super cepat dan pastinya aman. selain itu situs ini juga memberikan bocoran bocoran angka keluar yang akan membantu anda mendapatkan hadiah terbesar yang kami sediakan. daftar sekarang juga dan rasakan kemenangan yang menakjubkan.
Togel resmi ini menawarkan pengalaman bermain togel online yang luar biasa. Dengan antarmuka yang mudah digunakan, sistem transaksi yang aman, dan dukungan pelanggan yang responsif, Situs Togel Terpercaya ini menjadi pilihan terbaik. para pemain togel dapat menikmati berbagai permainan seperti togel 4D, 3D, dan 2D dengan peluang menang yang besar.
BO Togel dengan deposit minim mulai 10 ribu menjadi pilihan populer di kalangan pecinta togel yang ingin merasakan pengalaman bermain tanpa mengeluarkan modal besar. Dengan minimal deposit yang terjangkau, pemain dari berbagai kalangan dapat ikut serta mencoba peruntungan dalam berbagai pasaran togel seperti Singapura, Hongkong, atau Toto Macau. Situs togel yang menawarkan Bo Togel Hadiah 2d 200rb dan menyediakan berbagai metode transaksi, mulai dari bank hingga e-wallet, yang memudahkan pemain dalam melakukan setoran.
Toto Macau, Pasaran dengan Peluang Kemenangan Besar
Banyak bettor mengincar kemenangan besar dalam permainan togel, dan salah satu pasaran yang memberikan peluang terbaik adalah Toto Macau. Dengan sistem pengundian yang dilakukan secara adil dan terbuka, pemain merasa lebih nyaman dalam memasang taruhan mereka. Selain itu, Toto Macau memiliki berbagai metode transaksi yang memudahkan pemain dalam melakukan deposit dan withdraw.
Ketika mencari tempat untuk memasang taruhan togel online, tentu ada banyak faktor yang perlu dipertimbangkan, mulai dari keamanan, variasi permainan, hingga bonus yang ditawarkan. Situs Toto menjadi pilihan unggulan karena menyediakan berbagai pasaran terlengkap dengan peluang kemenangan yang lebih besar. Selain itu, layanan pelanggan yang responsif memastikan setiap pemain mendapatkan pengalaman terbaik saat bermain.
Cara Bermain Slot Gacor dengan Peluang Menang Tinggi
Strategi dalam bermain slot gacor juga memainkan peran penting. Mulailah dengan menetapkan taruahan yang jelas untuk permainan Anda dan patuhi itu. Manfaatkan bonus dan promosi yang kami sedikan, seperti free spins atau bonus deposit, untuk memperpanjang waktu bermain Anda. Slot Gacor Ini tidak hanya memberi Anda lebih banyak peluang untuk menang tetapi juga membuat pengalaman bermain lebih menyenangkan. selain itu penting untuk memahami mekanisme dasar dari setiap slot yang Anda mainkan.
Rahasia scatter hitam di Mahjong Ways terletak pada kesabarannya. Slot ini sering kali memberikan kejutan besar bagi mereka yang tetap konsisten dalam bermain. Mahjong Slot adalah kunci untuk membuka peluang free spin dan pengganda besar, sehingga penting untuk terus memainkannya dengan taruhan yang bijak. Menggunakan bonus deposit atau free spin dari situs slot dapat menjadi cara cerdas untuk meningkatkan peluang Anda di tahun 2024.
Slot 5rb telah menjadi favorit banyak pemain karena memberikan akses mudah dengan modal rendah. Meskipun nominal depositnya kecil, peluang untuk mendapatkan jackpot dan bonus tetap besar di Slot Deposit 5k, apalagi jika pemain bermain di situs dengan RTP tinggi.
Dapatkan Peluang Menang Besar dengan RTP Live Slot Gacor
Ketika berbicara tentang RTP slot gacor tertinggi, tidak hanya soal persentase kemenangan, tetapi juga seberapa konsisten mesin tersebut memberikan pengembalian. RTP slot gacor mengacu pada mesin yang sering memberikan kemenangan dengan RTP tinggi. Pemain selalu mencari tahu update terbaru mengenai slot RTP tertinggi agar bisa mendapatkan keuntungan lebih.
Jika Anda sedang mencari permainan slot online dengan peluang menang tinggi, maka Toto Slot bisa menjadi pilihan yang tepat. Dengan banyaknya variasi permainan yang tersedia, pemain memiliki kebebasan untuk memilih slot yang sesuai dengan gaya bermain mereka. Selain itu, Toto Slot juga dikenal karena tingkat RTP yang tinggi, sehingga memberikan kesempatan lebih besar untuk mendapatkan keuntungan dalam jangka panjang.
Salah satu hal yang sering menjadi perhatian para pemain adalah kejujuran dalam permainan. Slot777 menerapkan sistem fair play yang memastikan bahwa setiap hasil permainan benar-benar acak dan tidak bisa dimanipulasi. Dengan menggunakan teknologi RNG (Random Number Generator), platform ini memberikan jaminan bahwa semua pemain memiliki peluang yang sama untuk menang.
Jika mengeluarkan uang secara sembarangan tanpa kontrol, www.saintjohnsbrooklyn.com Anda bisa rugi di judi bola online.
Pastikan main di situs Olahraga situs togel daring yang terpercaya dan terjamin legitimasinya.
Dengan mempelajari cara main Aktivitas Interaktif Togel158 online dan menerapkan strategi tepat, Anda bisa menang lebih.
Dengan judi Keseruan online, Anda bisa merasakan sensasi taruhan sama seperti Togel178 di kasino, namun dari
Anda https://kampuspoker.com/ akan menerima saran bagaimana mengelola saldo taruhan secara cerdas.
Dengan cara ini, Anda bisa memulai permainan Olahraga online dengan Slot menyenangkan dan menguntungkan.
Karena itu, tidak lagi rahasia bahwa sekarang masuk daftar poker online ke situs 1 - daring - dalam talian - maya - digital terbaik.
Keamanan dan kenyamanan kunci di dunia Colok178 Mainan.
Mencari situs yang menyediakan berbagai permainan menarik serta peluang kemenangan tinggi bukanlah hal yang mudah. Namun, Pedetogel hadir sebagai solusi bagi mereka yang ingin mendapatkan pengalaman bermain yang menyenangkan serta menguntungkan.
Bermain togel kini semakin praktis dan menguntungkan dengan hadirnya Pedetogel yang memberikan berbagai kemudahan bagi para pemainnya. Dengan layanan pelanggan yang siap membantu selama 24 jam, Anda tidak perlu khawatir mengalami kendala saat bermain. Situs ini juga menawarkan berbagai promo menarik yang bisa dimanfaatkan untuk menambah peluang kemenangan.
Jika Anda menginginkan pengalaman bermain togel yang lancar tanpa hambatan, memilih platform yang tepat adalah kunci utama. Pedetogel hadir sebagai solusi bagi para penggemar togel yang ingin menikmati taruhan dengan peluang menang tinggi serta berbagai bonus menarik setiap harinya.
Banyak orang kini memilih situs macau karena reputasinya yang telah terbukti dalam memberikan layanan terbaik bagi para pemain. Dengan berbagai pilihan permainan yang tersedia, situs ini memberikan kenyamanan serta pengalaman bermain yang luar biasa. Fasilitas transaksi yang cepat dan aman juga menjadi alasan mengapa banyak orang beralih ke situs ini.
Bermain togel bukan sekadar menebak angka, tetapi juga soal kepercayaan terhadap platform yang digunakan. Memilih situs togel resmi adalah langkah penting agar pemain mendapatkan pengalaman terbaik tanpa kendala. Selain menyediakan berbagai metode transaksi yang cepat, platform ini juga menawarkan diskon taruhan yang menguntungkan. Keamanan data pengguna selalu menjadi prioritas utama agar para bettor merasa nyaman setiap kali melakukan pemasangan angka keberuntungan mereka.
Banyak pemain baru mencari platform yang mudah digunakan dan terpercaya. Ketika berbicara tentang rekomendasi terbaik, nama Toto92 sering kali muncul karena reputasinya yang sudah teruji. Tak heran jika jumlah pengguna terus meningkat setiap harinya.
Banyak pemain game online mencari tempat yang tidak hanya aman tapi juga memberikan keuntungan nyata. Itulah sebabnya Toto92 menjadi sorotan di antara komunitas pecinta judi digital. Dengan berbagai pasaran yang tersedia dan kemudahan dalam bertransaksi, pengguna bisa bermain tanpa hambatan. Didukung teknologi mutakhir dan sistem anti-bot, kenyamanan dan keadilan bermain di situs ini benar-benar terjamin.
Sheila B Robinson, Ed. D
Mar 18, 2013 -
What a fabulous post! I would never have thought of a pivot table as a data cleaning tool. I’ve only used pivot tables after cleaning the data! Thanks for a great tutorial!
Oz du Soleil
Mar 18, 2013 -
Sheila, thanks for the comment and glad the tutorial added something to your arsenal.
Question: what had you used to examine your data?
Kevin Gilds
Mar 21, 2013 -
It is a great post-data processing is often an overlooked step in the data analysis process.
Oz du Soleil
Mar 22, 2013 -
Kevin, thanks for commenting. I really appreciate it.
How do you go about checking your data quality?
Jessica Weitzel
Mar 26, 2013 -
Great tutorial. We use conditional formatting within the dataset to identify and color code duplicates, outliers, missing data etc. to foster clean up.
Oz du Soleil
Mar 29, 2013 -
Jessica, it’d be great to see the conditional formatting implemented. Do you blog?
(Hmmm … you give me ideas about how to use the conditional formatting.)
Jessica Weitzel
Apr 10, 2013 -
Hi Oz. Ann has some great examples that are similar to many of the things we do here: emeryevaluation.com/excel/exploring/. I do not have a blog (I keep meaning to, but projects get in the way). We can chat by email (jessica [at] viaevaluation.com], too.
What Does It Cost To Clean My Data? – Data Management Chicago | DataScopic
Apr 5, 2013 -
[…] did a guest blogpost for Ann Emery at EmeryEvaluation.com called Pivot Table: Your Tool for Exposing Miscreant Data. This is a small glimpse into the reconnaissance before the actual kidnapping of […]
6 Quiet Habits for Working with Data & Excel – Excel & Data Training Chicago | DataScopic
May 17, 2013 -
[…] starting and what you’re starting with. I detail that as Ann Emery’s guest blogger at Pivot Tables: Your Tool for Exposing Miscreant Data. Pivot tables are known for their ease of presenting data multiples way. However, there […]
BFTBY: Keep Your Data In One Place, Don't Work So Hard! – Excel & Data Training Chicago | DataScopic
Aug 27, 2013 -
[…] Pivot Tables […]
Excel: The Dennis Rodman Of Business Intelligence Tools – All Things Data & Excel in Chicago | DataScopic
Nov 22, 2013 -
[…] a whole lot of data and you aren’t sure of the quality? Throw it into an Excel pivot table, use some conditional formatting, write a few formulas and uncover what’s […]