داده¬ها، نخستین شکل اطلاعات هستند که به منظور ایجاد دانش، مدیریت و کاویده می¬شوند. داده¬ها دارای چندین مشخصه هستند: حجم، سرعت بر حسب زمان، تنوع، صحت، دوام پذیری، اعتبار، ارزش و مدت اعتبار. "حجم"، به مقدار زیاد داده¬ها بر می¬گردد. "سرعت بر حسب زمان"، نرخ تولد داده¬ها در هر واحد زمانی را نشان می¬دهد. "تنوع"، بر شکل¬های مختلف داده، مانند متن (گزارش سلامت)، عدد (آمار و ارقام بازار سهام)، تصاویر (عکسبرداری ماهواره ای)، صوت (تماس¬های تلفنی)، ویدئو و هر فرم و شکل دیگری که بتوان تصور کرد، دلالت دارد. "صحت"، با انحرافات، اختلالات و مویز در داده¬ها سروکار دارد. "دوام پذیری"، به معنای بررسی ارتباط یک متغییر در آرایه ی وسیعی از متغیرهای مربوط به داده¬های چند بعدی است و ارتباطات میان متغیرها است. "اعتبار"، این پرسش را درباره¬ی داده¬ها مطرح می¬کند که آیا آن داده، برای استفاده و کاربرد در نظر گرفته شده، قابل اعتماد و دقیق است؟. "ارزش" حاکی از اهمیت کلیدی داده¬ها است. برخی از داده¬ها میتوانند بسیار مهم باشند؛ در حالی که بعضی دیگر از ارزش کم¬تری برخوردارند. آخرین مورد، یعنی "مدت اعتبار" در این باره است که داده¬ها چه مدت اعبار دارند و می¬بایست ذخیره شوند[1].
هدف از داده کاوی، کشف ضمنی الگوها و روند ناشناخته قبلی از پایگاه داده¬ها است. داده کاوی شامل تکنیکهای بسیاری چون طبقه¬بندی، خوشه¬بندی، شبکه¬های عصبی و درخت¬های تصمیم است. اگر داده¬ها به اندازه تمامی اب سطح زمین باشند، آنگاه داده¬های متنی همانند اقیانوس بیش¬ترین بخش آن را تشکیل میدهند[2]. متن ممکن است در اندازه زیاد و فرم¬های متفاوتی هم چون زبان¬های مختلف، با استفاده از نمادهای مختلف و قالب¬های متفاوت موجود باشد. از این رو، این پرسش ایجاد می¬شود که چگونه اطلاعات را می¬توان از این متن خارج کرد، در این جاست که متن کاوی به ایفای نقش می¬پردازد[1]. متن کاوی، کاربردی از داده کاوی است. تفاوت اصلی این دو، آن است که در متن کاوی، الگوها از متنی با زبان طبیعی استخراج می¬شوند، این در حالی است که داده کاوی بر روی پایگاه داده¬های ساخت یافته عمل می¬کند. بنابراین، داده کاوی، بازیابی اطلاعات، پردازش زبان طبیعی و استخراج اطلاعات از زمینه های مرتبط با متن کاوی هستند.
داده کاوی: روشی بسیار کارا برای کشف اطلاعات از داده های ساخته یافته است. متن کاوی مشابه داده کاوی است، اما ابزارهای داده کاوی طراحی شده اند تا داده های ساخت یافته از پایگاه داده را به کار بیرند. می توان گفت، متن کاوی یک راه حل بهتر برای شرکت ها است.
فهرست مطالب:
چکیده 5
فصل اول: مقدمه
1-1- مقدمه 7
فصل دوم: مروری بر متن کاوی
2-1- مقدمه10
2-2- سیستم¬هاي استخراج اطلاعات 11
2-3- نیاز به متن¬کاوی 12
2-3-1- آماده سازی متن 14
2-3-2- پردازش متن 15
2-3-3- تحليل متن 15
2-4- چگونه متن¬کاوي را انجام دهيم 15
2-5- چارچوب متن کاوی 18
2-6- یافتن روابط 19
2-7- کاربردهای متن¬کاوی 19
2-7-1- شناسایی spam 19
2-7-2- نظارت 20
2-7-3- شناسایی نامهای مستعار 20
2-7-4- خلاصه سازی 20
2-7-5- روابط میان مفاهیم 20
2-7-6- یافتن و تحلیل ترندها 21
2-7-7- گروه بندی و طبقه بندی داده 21
2-7-8- برچسب زدن نحوی 21
2-8- کاربرد متن¬کاوی در کتابخانه¬ها 22
2-9- جمع بندی 23
فصل سوم: مروری بر تکنیک های متن کاوی
3-1- مقدمه 25
3-2- تكنیک¬های متن کاوی 26
3-2-1- خلاصه¬سازی متن 26
3-2-2- طبقه¬بندی 26
3-2-2-1- طبقه¬بندی کننده¬ی ساده¬ی بیزی 27
3-2-2-2- طبقه¬بندی کننده¬ی K نزدیکترین همسایه 27
3-2-3- خوشه¬بندی 28
3-2-3-1- خوشه¬بندی سلسله مراتبی28
3-2-3-1-1- روش خوشه¬بندی سلسله مراتبی پایین به بالا 28
3-2-3-1-2- روش خوشه¬بندی سلسله مراتبی بالا به پایین 29
3-2-3- 2-خوشه¬بندی افرازبندی 29
3-2-3-2-1- الگوریتم k means 29
3-2-4- استخراج اطلاعات30
3-2-5- بصری سازی30
3-3- جمع¬بندی 31
فصل چهارم: نتیجه گیری و پیشنهادات 4-1- نتیجه گیری و پیشنهادات33
مراجع