Data Mining เหมืองข้อมูล
ตอนทำ Lab เจอปัญหาที่ว่า ลองเอาข้อมูล CSV ที่เข้าไป พอเลือก Filter แล้วปรับแต่งข้อมูล ปรากฏว่าบึ้มครับ WEKA ไม่รองรับภาษาไทยครับ การแก้ไข หาไฟล์ RunWeka.ini ซึ่งอยู่ใน Path C:\Program Files\Weka-3-8 เปิด Text Editor อะไรก็ได้ แต่ต้อง Run as Administrator เปิดไฟล์ RunWeka.ini หาบรรทัด แก้ไขเป็น Save ไฟล์จากนั้นลองเปิด WEKA เพื่อลองทดสอบอีกครั้งครับ
ยุคนี้อะไรก็ Big Data ครับ สำหรับ Session โดย อ เอกสิทธิ์ พัชรวงศ์ศักดา แห่ง Data Cube ซึ่งเน้นไปในส่วนของ Data Mining ผมเข้าใจว่าเป็นส่วนหนึ่งของ Data Science ครับ (ก่อนอ่านต่อไป หากใครเข้า Session นี้กับผม ผมมีการจัดเรียงเนื้อหาใหม่ตามความเข้าใจผมนะครับ อาจจะมีการสลับลำดับ) ทุกอย่างเริ่มต้นที่ Data ซึ่งพอมันมีปริมาณมองพอ เรียกเป็น Big Data โดยดู 3V เดิม + 2V ใหม่ครับ โดยเจ้า 3V…
ในระหว่างที่ทำตาม Workshop: Neural Network with WEKA หลายๆคนอาจจะประสบปัญหาในระหว่างการทำงาน ผมเลยได้รวมรวมข้อมูลไว้ ดังนี้ครับ ปัญหา Train and test set are not compatible สาเหตุ: เกิดจากไฟล์ .arff ของเรามีส่วนการประกาศ attribute ที่ไม่เหมือนกัน หรืออาจะมี Character บางตัวแปลกปลอมอยู่ในไฟล์ ฉบับภาษาอังกฤษ 1.Make sure that the train and test sets have EXACTLY the same attributes…
เมื่อเราได้ Model แล้ว ขั้นตอนต่อไป คือ นำ Model ของเราไปใช้กับข้อมูลจริงๆ ที่อาจจะมาจากแบบสอบถาม, ข้อมูลการรายการซื้อ-ขาย เป็นต้น โดยในที่นี้เราจะมีข้อมูลของกลุ่มตัวอย่างที่ได้จากแบบสอบถาม เพื่อนำมาทำนายว่าพวกเขาเหล่านั้นซื้อจักรยาน หรือไม่ครับ เอกสารประกอบการทำ Workshop นะครับ [wpdm_file id=4] ข้้นตอนการทดสอบง่ายๆ ดังนี้ครับ เตรียมไฟล์ข้อมูลที่ได้ให้เป็น format ที่เหมาะสม คือ ไฟล์ .arff โดยสำหรับ Attribute purchaseBike เราไม่ทราบค่า ให้ใส่เป็น ? เพื่อบอกโปรแกรม ดังรูป นำไฟล์ที่ได้ไปทดสอบตาม Neural Network with WEKA…
หลังจากได้ Model มาแล้วสิ่งที่เราต้องทำต่อไป คือ การนำโมเดลที่ได้นั้นมาตรวจสอบความถูกต้อง และนำไปผลที่ได้ไปปรับแต่ง Model ของเราจนได้ผลลัพธ์ออกมาเป็นที่น่าพอใจแล้วนำไปทดสอบกับข้อมูลจริงๆ โดยการตรวจสอบ Model ที่ได้มานั้นมีขั้นตอน ดังนี้ เปิดโปรแกรม WEKA และทำการ load model ที่ได้ save ไว้ขึ้นมาจาก Blog ตอนที่แล้ว มาตั้ง Test Options (ไม่แน่ใจมาจาก sense เพราะมันไม่มี doc ให้อ่าน) Supplied training set: เปิดไฟล์ data ที่เราจะมา Test กับ Model <<เลือกอันนี้>>…
หลังจากเรา เตรียมข้อมูล เรียบร้อยแล้ว ขั้นตอนต่อมา คือ การสร้าง Model โดยทำต่อไปตามขั้นตอนเลยครับ มาที่ tab Preprocesses >> open file >> เลือกไฟล์ Customer_for_std_train.arff จะพบข้อมูลขึ้นมา โดยเราสามารถที่จะไปกดดูกราฟ เพื่อที่จะทำการดู กราฟ และสถิตต่างๆได้ ส่วนที่ 1: แสดง background ของข้อมูล ว่ามาจากไล์อะไร มีกี่ record ส่วนที่ 2: แสดง Attribute ทั้งหมด โดยเมื่อเราเลือกไปที่ตัวไหน จะมีรายละเอียดในสวนที่ 3 ส่วนที่ 3: แสดงสถิตพื้นฐาน และกราฟ…
ก่อนอื่นเลยบทความนี่ผมเขียนไว้ในเว็บบอร์ด COMSWU นะครับ แต่ติดปัญหาเรื่องสิทธิ์ที่ให้คนนอกเข้ามาดู ผมจึง Rewrite เขียนใหม เพื่อให้คนอื่นๆที่เคยใช้งาน หรือเรียนโปรแกรม WEKA ในการทำ Neural Network แต่ยังไม่มี idea ในการนำไปใช้งานจริงเข้าใจมากยิ่งขึ้นครับ เอกสารประกอบการทำ Workshop นะครับ เป็นไฟล์ข้อมูลการตัดสินใจซื้อจักรยานของลูกค้ากลุ่มหนึ่ง ที่เราต้องสร้าง Model เพื่อนำมาทำนายข้อมูลชุดๆถัดไปครับ [wpdm_file id=3] ขั้นตอนการทำงาน ตรวจสอบข้อมูลก่อนเลย ใน Column ที่เป็น Nominal/Ordinal มันมีข้อมูลกี่ตัวเลือกกี่แบบ Copy ข้อมูลต้นฉบับ ไปยังอีก worksheet นึง >> เลือก Column ที่ต้องการ…
วันนี้ผมได้ทำวิดีโอสรุปการใช้งาน WEKA Scoring กับ Pentaho Data Intregration ครับ โดยมีแหล่งข้อมูล และตัวอย่างการทำ ดังนี้ แหล่ง Download Plug-in: Pentaho Data Integration Plug-in แหล่งข้อมูล: WEKA Scoring , ARFF outtput ไฟล์บทความวิจัยที่ใช้:[wpdm_file id=5] หมายเหตุ: ใช้ WEKA ให้ถูกเวอร์ชั่นด้วย เพราะไฟล์ Model มันจะขึ้นกับ Version ของ WEKA ถ้าผิด version ไฟล์ Model จะเปิดขึ้นมาไม่ได้ หมายเหตุ ปัญหา: มี…
