Разлике између Тект Мининг-а и Тект Аналитицс-а
Структурирани подаци постоје тамо од раних 1900-их, али оно што је учинило вађење текста и анализу текста толико посебним јесте да је искористила информације од неструктурираних података (Обрада природним језиком). Једном када будемо у стању да претворимо овај неструктурирани текст у полуструктуриране или структуиране податке, постаће доступна примена свих алгоритама за рударјење података, нпр. Статистички и алгоритми машинског учења.
Чак је и Доналд Трумп могао да искористи податке и претвори их у информације које су му помогле да победи на председничким изборима у САД, у основи то није учинио као што су радили његови подређени. Ту је врло добар чланак хттп://фиветхиртиеигхт.цом/феатурес/тхе-реал-стори-оф-2016/ који можете проћи кроз њега.
Многа предузећа су почела да користе рударство текста како би користила драгоцене уносе из текста који је доступан тамо, на пример, компанија заснована на производима може да користи твиттер податке / податке из Фејсбука како би сазнала колико добро или лоше ради њихов производ тамо у свету користећи Сентиментал Анализа. У раним данима обрада је трајала пуно времена, дана, у ствари да би се обрађивали или чак имплементирали алгоритми машинског учења, али са увођењем алата као што су Хадооп, Азуре, КНИМЕ и други велики софтвер за обраду података рударство текста стекло је огромну популарност на тржишту. Један од најбољих примера анализе текста помоћу асоцијативног рударства је Амазонов механизам препорука где он аутоматски даје препоруке својим купцима шта су други људи купили приликом куповине било којег одређеног производа.
Један од највећих изазова примене алата за рушење текста на нешто што није у дигиталном формату / на рачунарском погону је поступак израде. Старе архиве и многи важни документи који су доступни само на папирима понекад се читају кроз ОЦР (оптичко препознавање знакова) који имају много грешака, а понекад се подаци уносе ручно, што је склоно људским грешкама. Разлог због којег то желимо је тај што ћемо можда моћи да добијемо друге увиде који нису видљиви из традиционалног читања.
Неки од корака уноса текста су наведени у наставку
- Проналажење информација
- Припрема и чишћење података
- Сегментација
- Токенизација
- Бројеви зауставних речи и уклањање интерпункцијских знакова
- Стемминг
- Претвори у мала слова
- ПОС таговање
- Креирајте корпус текста
- Термин-документ матрица
И доле су кораци у Тект Аналитицс-у који се примењују након припреме терминске матрице документа
- Моделирање (Ово може укључивати инференцијалне моделе, предиктивне моделе или моделе прописа)
- Обука и евалуација модела
- Примена ових модела
- Визуализација модела
Једино чега се увек морамо сетити је да вађење текста увек претходи анализи текста.
Упоредна упоредба између претварања текста и Тект Аналитицс (Инфограпхицс)
Испод је 5 поређења између предвиђања за предвиђање текста и Тект Аналитицс 
Кључне разлике између Тект Мининг-а и Тект Аналитицс-а
Разликујмо рударство текста и анализу текста на основу корака који су укључени у неколико апликација на којима се примењују обоје:
• Класификација докумената
У овом су кораку укључени у рударство текста токенизација, заустављање и лематизација, уклањање зауставних речи и интерпункција и коначно израчунавање матрице фреквенције или матрице фреквенције документа.
Токенизација - Процес поделе целокупних података (корпуса) у мање делове или мање речи, обично појединачне речи су познате као токенизација (Н-Грам модел или Модел вреће речи)
Стимминг и Лемматизација - На пример, речи велике и највеће све значе исто и формираће дупликате података, како би подаци били сувишни ми радимо лематизацију, повезујући речи са основном речју.
Уклањање зауставних речи - Зауставне речи нису корисне у аналитици која ће укључивати речи као што је,, итд.
Терминске фреквенције - Ово је матрица која има заглавља редака као називе докумената и колоне као појмове (речи), а подаци су учесталост речи које се налазе у тим одређеним документима. Испод је пример слике екрана. 
На горњој слици имамо атрибуте у редовима (речи) и број документа као ступце и фреквенцију речи као податке.
Сада када долазимо до аналитике текста, имамо следеће кораке које је потребно узети у обзир
Кластерирање - Коришћењем К-значи кластерирање / Неуралне мреже / ЦАРТ (стабла класификације и регресије) или било који други алгоритам кластерирања сада можемо групирати документе на основу карактеристика које су генерисане (овде су карактеристике речи).
Евалуација и визуализација - Ми цртамо кластер у две димензије и гледамо како се ти кластери разликују један од другог, а ако модел добро држи тестне податке, можемо га уградити у производњу и биће добар класификатор докумената који ће класификовати све нове докумената који се дају као улаз и то би само именовало кластер у који ће упасти.
• Анализа осећаја
Један од најмоћнијих алата на тржишту који помаже у обради података на Твиттеру / Фацебооку или било којим другим подацима који се могу користити за извлачење осјећаја из тога да ли је осјећај добар, лош или неутралан према било којем одређеном процесу / производу или се особа анализира осећањима.
Извор података може бити лако доступан помоћу твиттер АПИ / Фацебоок АПИ-ја да бисте добили твеетове / коментаре / лајкове итд. На твиту или посту компаније. Главни проблем је што је те податке тешко структурирати. Подаци би садржавали и разне рекламе, а истраживач података који ради за компанију мора се побринути да се избор података изврши на правилан начин, тако да само одабрани твеетови / постови пролазе кроз фазе претходне обраде.
Остали алати укључују Веб-сцрапинг, ово је део претраживања текста у којем податке скидате са веб локација помоћу алата за индексирање.
Процес ископавања текста остаје исти као токенизација, заустављање и лемматизација, уклањање зауставних речи и интерпункција и на крају рачунање, термин фреквенцијска матрица или матрица фреквенције документа, али једина разлика долази приликом примене анализе осећања.
Обично дајемо оцјену било којем посту / твиту. Обично када купујете производ и прегледате да ли вам је такође дата могућност да дате звездицама рецензију и поставите коментар. Гоогле, Амазон и друге веб локације користе звезде да би оценили коментар, не само то, они такође узимају твитове / постове и дају их људским бићима да их оцене као добре / лоше / неутралне и на комбиновању ова два резултата генеришу нову резултат за било који одређени твеет / пост.
Визуализација анализе осећања може се обавити коришћењем речи облака, бар графикона фреквенције терминске матрице.
• Удружење рударске анализе
Једна од апликација на којој су неки момци радили била је „вероватноћа нежељеног догађаја лекова“, где се може проверити који нежељени догађаји могу да изазову друге штетне догађаје ако се узме неки одређени лек.
Ископирање текста обухватало је доњи ток рада
Из горње слике видимо да до ископавања података сви кораци припадају рудању текста који идентификује извор података, вади их и затим припрема за анализу.
Затим применом удруживања рударства имамо следећи модел
Као што можемо видети да неке ознаке стрелице показују према наранџастом кругу, а затим једна стрелица ка неком посебном АДЕ-у (нежељени догађај са лековима). Ако узмемо пример на левој доњој страни слике, можемо наћи апатију, астенију и осећај ненормалног, што води ка осећају кривице, па може се рећи да је то очигледно, то је очигледно јер као човек можете тумачити и односити, али овде је машина тумачи то и даје нам следећи нежељени догађај.
Примјер речи облак је као у наставку
Табела поређења између Мининг Мининг-а и Тект Аналитицс-а
Испод су листе тачака, опишите поређења између Тект Мининг-а и Тект Аналитицс-а:
| Основе за упоређивање | Тект Мининг | Тект Аналитицс |
|
Значење | Ископавање текста у основи је чишћење података како би били доступни за анализу текста | Тект Аналитицс користи статистичке и машинске технике учења како би могао да предвиди / пропише или закључи било које информације из текстуалних података. |
|
Концепт | Извлачење текста је алат који помаже у чишћењу података. | Текст аналитика је поступак примене алгоритама |
|
Оквир | Ако говоримо о оквиру, извлачење текста је слично ЕТЛ-у (Ектрацт Трансформ Лоад), што значи да бисте могли да убаците податке у базу, ови кораци се спроводе | Анализа текста у тексту ови подаци се користе за додавање вредности компанији, на пример, креирање облака речи, графикона фреквенције би грама, у неким случајевима Н-грама |
|
Језик | Питхон и Р су најпознатија алата за вађење текста за вађење текста | За анализу текста, када су подаци доступни на нивоу базе података, тада можемо да користимо било који аналитички софтвер, укључујући питхон и Р. Остали софтвер укључује Повер БИ, Азуре, КНИМЕ, итд. |
|
Примери |
|
|
Закључак -Тект Мининг вс Тект Аналитицс
Будућност вађења текста и аналитике текста није применљива само на енглески језик, већ је и у току непрекидно напредовање и коришћење језичних алата не само да су други енглески језици превише узети у обзир за анализу.
Опсег и будућност извлачења текста ће расти с обзиром да има ограничених ресурса за анализу других језика.
Тект Аналитицс има веома широк спектар где се може применити, неки од примера индустрија у којима се то може користити су:
- Мониторинг друштвених медија
- Пхарма / Биотецх апликације
- Пословне и маркетиншке апликације
Препоручени чланак
Ово је водич за разлику између Тект Мининг-а и Тект Аналитицс-а, њиховог значења, упоредни подаци, кључне разлике, Табела упоређивања и закључак. Такође можете погледати следеће чланке да бисте сазнали више -
- Азуре Паас вс Иаас - сазнајте разлике
- Најбоље 3 ствари које треба научити о Минингу података у односу на Мининг
- Упознајте најбоље 7 разлике између Дата Мининг Вс анализе података
- Пословна интелигенција вс машинско учење - која је боља
- Предиктивна Аналитика вс Мининг података - који је кориснији