Python ашиглан AI аппликейшн хөгжүүлж суръя

Энэ нийтлэлээр бид Python ашиглан хэрэглэгчийн мессежийг ангилдаг жижиг AI-powered аппликэйшн эхнээс нь бүтээнэ.

Та дараах зүйлсийг сурна:

• AI, machine learning, deep learning-ийн ялгаа
• AI аппликэйшнд өгөгдөл хэрхэн орж, загвар хэрхэн таамаглал гаргадаг
• Энгийн текст ангилагчийг Python дээр сургах
• Загварыг үнэлэх үндсэн аргууд
• AI хаана үнэ цэн нэмдэг, хаана уламжлалт програмчлал илүү тохиромжтой байж болох

Жижиг төсөл: хэрэглэгчийн богино мессежийг дараах 3 ангиллын аль нэгэнд хуваадаг систем бүтээх.

1. delivery_issue — хүргэлтийн асуудал
2. refund_request — буцаалт, мөнгө буцаах хүсэлт
3. positive_feedback — эерэг санал, талархал

Энэ бол бодит байгууллагад хэрэглэгчийн хүсэлтийг автоматаар ангилж, зөв баг руу чиглүүлэхэд ашиглаж болох энгийн жишээ юм.

Урьдчилсан мэдлэг

Энэ нийтлэлийг дагахад гүнзгий математикийн мэдлэг шаардлагагүй. Гэхдээ дараах зүйлсийг мэддэг бол илүү амар:

• Python-ийн үндсэн синтакс
• list, dict, function зэрэг суурь ойлголт
• Терминал эсвэл command line дээр Python ажиллуулах
• pip ашиглан сан суулгах

Хэрэв та machine learning өмнө нь огт хийж байгаагүй бол санаа зовох хэрэггүй. Бид алхам бүрийг тайлбарлаж явна.

Суралцах зорилтууд

Энэ нийтлэлийн төгсгөлд та:

• AI, machine learning, deep learning-ийг ойлгомжтой ялгаж тайлбарлаж чадна
• Текст өгөгдлийг загварт ойлгомжтой тоон хэлбэрт хувиргах зарчмыг мэднэ
• scikit-learn ашиглан энгийн machine learning pipeline үүсгэнэ
• Сургасан загвараар шинэ мессеж ангилна
• Үнэлгээний үр дүнг уншиж, загварын хязгаарлалтыг ойлгоно
• AI ашиглах эсэхийг шийдэхдээ практик trade-off-уудыг харгалзаж чадна

AI, Machine Learning, Deep Learning-ийн ялгаа

AI гэсэн нэр томьёо их өргөн хэрэглэгддэг тул эхлээд ялгааг нь тодруулъя.

AI гэж юу вэ?

AI буюу хиймэл оюун ухаан нь хүний оюунтай холбоотой зарим чадварыг компьютерээр гүйцэтгүүлэх өргөн хүрээний ойлголт юм. Жишээ нь:

• Текст ойлгох
• Зураг таних
• Шийдвэр санал болгох
• Тоглоом тоглох
• Дуу хоолой таних
• Асуултад хариулах

AI гэдэг нь нэг тодорхой алгоритм биш, харин зорилго болон системийн өргөн ангилал гэж ойлгож болно.

Machine Learning гэж юу вэ?

Machine learning буюу машин сургалт нь AI-ийн нэг дэд салбар. Уламжлалт програмчлалд бид дүрмийг өөрсдөө бичдэг:

Хэрэв мессежид "буцаах" гэсэн үг байвал refund_request гэж ангил.

Харин machine learning-д бид жишээ өгөгдөл өгч, компьютер өөрөө хэв шинжийг сурдаг:

Олон жишээ мессеж + зөв ангилал -> загвар сурна -> шинэ мессежийг таамаглана

Өөрөөр хэлбэл machine learning нь дүрмийг шууд бичихийн оронд өгөгдлөөс дүрэм төст хэв шинжийг сурах арга юм.

Deep Learning гэж юу вэ?

Deep learning нь machine learning-ийн нэг төрөл бөгөөд олон давхаргат нейрон сүлжээ ашигладаг. Энэ нь их хэмжээний өгөгдөл, тооцооллын хүч шаарддаг ч зураг, дуу, хэлний томоохон даалгавар дээр маш сайн ажилладаг.

Гэхдээ анхны AI аппликэйшн хийхэд deep learning заавал хэрэгтэй биш. Манай жишээнд бид илүү хөнгөн, хурдан, тайлбарлахад амар machine learning загвар ашиглана.

Манай аппликэйшний санаа

Бид хэрэглэгчийн мессежийг автоматаар ангилах жижиг систем хийнэ.

Жишээ оролт:

Захиалга маань 3 хоног хоцорч байна.

Гаралт:

Ангилал: delivery_issue
Итгэлцүүр: 0.72

Энэ системийг байгууллага дараах байдлаар ашиглаж болно:

• Хүргэлтийн асуудлыг логистикийн баг руу илгээх
• Буцаалтын хүсэлтийг санхүү эсвэл үйлчилгээний баг руу чиглүүлэх
• Эерэг сэтгэгдлийг маркетингийн багт хадгалах

Энд AI үнэ цэн нэмэх гол шалтгаан нь текстийн хэлбэр олон янз байж болно. Хэрэглэгч бүр “захиалга хоцорлоо” гэж яг ижил бичихгүй. Зарим нь “илгээмж ирээгүй”, “хүргэлт удааширлаа”, “маргааш ирнэ гэсэн ч алга” гэж бичнэ. Machine learning загвар ийм ялгаатай өгүүлбэрүүдээс нийтлэг хэв шинж сурах боломжтой.

Орчныг бэлдэх

Эхлээд шинэ хавтас үүсгэе.

mkdir first-ai-python-app
cd first-ai-python-app

Виртуал орчин үүсгэх нь зөв дадал юм. Ингэснээр таны төсөл бусад Python төслийн сангуудтай зөрчилдөхгүй.

macOS/Linux:

python3 -m venv .venv
source .venv/bin/activate

Windows PowerShell:

python -m venv .venv
.venv\Scripts\Activate.ps1

Дараа нь хэрэгтэй сангуудыг суулгана.

pip install pandas scikit-learn joblib

Өгөгдөл:

Machine learning загвар өгөгдлөөс суралцдаг. Манай жишээнд өгөгдөл нь хоёр баганатай:

• text: хэрэглэгчийн бичсэн мессеж
• label: тухайн мессежийн зөв ангилал

Бодит орчинд ийм өгөгдлийг CRM систем, support ticket, чат лог, имэйл, хэрэглэгчийн санал хүсэлтээс авч болно. Гэхдээ хувийн мэдээлэл, зөвшөөрөл, нууцлалын асуудал маш чухал. Хэрэглэгчийн нэр, утас, регистр, картын мэдээлэл зэрэг эмзэг мэдээллийг сургалтын өгөгдөлд шууд хадгалахгүй байх хэрэгтэй.

Манай сургалтын жишээ жижиг хэмжээтэй, зөвхөн хичээлийн зориулалттай.

Эхний хувилбар: Загварыг сургах файл

train_model.py нэртэй файл үүсгээд дараах кодыг хуулна.

import pandas as pd
import joblib

from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, confusion_matrix


DATA = [
    # delivery_issue
    {"text": "Захиалга маань 3 хоног хоцорч байна", "label": "delivery_issue"},
    {"text": "Хүргэлт ирэх ёстой байсан ч одоо хүртэл ирээгүй", "label": "delivery_issue"},
    {"text": "Илгээмж маань хаана явж байгааг мэдмээр байна", "label": "delivery_issue"},
    {"text": "Хүргэлтийн ажилтан надтай холбоо бариагүй, хүргэлт саатлаа", "label": "delivery_issue"},
    {"text": "Маргааш хүргэнэ гэсэн боловч бараа ирсэнгүй", "label": "delivery_issue"},
    {"text": "Захиалгын төлөв хүргэгдсэн гэж гарсан ч би аваагүй", "label": "delivery_issue"},
    {"text": "Хүргэлтийн хаяг зөв байхад бараа буцаагдсан байна", "label": "delivery_issue"},
    {"text": "Бараа замдаа гэсээр олон хонолоо", "label": "delivery_issue"},
    {"text": "Шуурхай хүргэлт сонгосон ч хугацаандаа ирсэнгүй", "label": "delivery_issue"},
    {"text": "Хүргэлтийн цагийг өөрчилмөөр байна", "label": "delivery_issue"},
    {"text": "Илгээмжний дугаар ажиллахгүй байна", "label": "delivery_issue"},
    {"text": "Миний барааг өөр хаяг руу хүргэсэн бололтой", "label": "delivery_issue"},

    # refund_request
    {"text": "Би захиалгаа цуцлаад мөнгөө буцааж авмаар байна", "label": "refund_request"},
    {"text": "Бараа таалагдсангүй, буцаалт хийх гэсэн юм", "label": "refund_request"},
    {"text": "Мөнгө буцаах хүсэлт илгээхэд туслаач", "label": "refund_request"},
    {"text": "Буруу бараа ирсэн тул төлбөрөө буцаалгамаар байна", "label": "refund_request"},
    {"text": "Захиалга цуцлагдсан мөртлөө мөнгө орж ирээгүй", "label": "refund_request"},
    {"text": "Буцаалтын маягт хаанаас авах вэ", "label": "refund_request"},
    {"text": "Төлбөрийг буцаах хугацаа хэд хоног вэ", "label": "refund_request"},
    {"text": "Гэмтэлтэй бүтээгдэхүүн ирсэн тул мөнгө буцааж өгнө үү", "label": "refund_request"},
    {"text": "Солих биш мөнгөө буцааж авмаар байна", "label": "refund_request"},
    {"text": "Би буцаалт бүртгүүлсэн ч хариу ирээгүй", "label": "refund_request"},
    {"text": "Төлбөр давхар суутгагдсан байна, буцааж өгнө үү", "label": "refund_request"},
    {"text": "Захиалгаа авахаас татгалзсан тул refund хүсэж байна", "label": "refund_request"},

    # positive_feedback
    {"text": "Үйлчилгээ маш хурдан, найрсаг байлаа", "label": "positive_feedback"},
    {"text": "Бараа чанартай, савлагаа сайхан байсан", "label": "positive_feedback"},
    {"text": "Хүргэлт хугацаандаа ирсэнд баярлалаа", "label": "positive_feedback"},
    {"text": "Танай үйлчилгээ үнэхээр таалагдлаа", "label": "positive_feedback"},
    {"text": "Дахин захиалга өгөхдөө баяртай байх болно", "label": "positive_feedback"},
    {"text": "Оператор маш ойлгомжтой тусалсан", "label": "positive_feedback"},
    {"text": "Бүтээгдэхүүн хүлээлтээс давсан чанартай байна", "label": "positive_feedback"},
    {"text": "Хурдан шийдвэрлэж өгсөнд баярлалаа", "label": "positive_feedback"},
    {"text": "Сайхан үйлчилгээ үзүүлсэн багт талархъя", "label": "positive_feedback"},
    {"text": "Захиалга амархан, ойлгомжтой хийгдлээ", "label": "positive_feedback"},
    {"text": "Би найзууддаа танай дэлгүүрийг санал болгоно", "label": "positive_feedback"},
    {"text": "Үнэ боломжийн, үйлчилгээ сайн байлаа", "label": "positive_feedback"},
]


def main():
    df = pd.DataFrame(DATA)

    X = df["text"]
    y = df["label"]

    X_train, X_test, y_train, y_test = train_test_split(
        X,
        y,
        test_size=0.25,
        random_state=42,
        stratify=y
    )

    model = Pipeline([
        ("tfidf", TfidfVectorizer(ngram_range=(1, 2))),
        ("classifier", LogisticRegression(max_iter=1000))
    ])

    model.fit(X_train, y_train)

    y_pred = model.predict(X_test)

    print("=== Evaluation report ===")
    print(classification_report(y_test, y_pred))

    print("=== Confusion matrix ===")
    print(confusion_matrix(y_test, y_pred, labels=model.classes_))
    print("Labels:", model.classes_)

    joblib.dump(model, "message_classifier.joblib")
    print("Model saved to message_classifier.joblib")


if __name__ == "__main__":
    main()

import pandas as pd
import joblib

from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, confusion_matrix


DATA = [
    # delivery_issue
    {"text": "Захиалга маань 3 хоног хоцорч байна", "label": "delivery_issue"},
    {"text": "Хүргэлт ирэх ёстой байсан ч одоо хүртэл ирээгүй", "label": "delivery_issue"},
    {"text": "Илгээмж маань хаана явж байгааг мэдмээр байна", "label": "delivery_issue"},
    {"text": "Хүргэлтийн ажилтан надтай холбоо бариагүй, хүргэлт саатлаа", "label": "delivery_issue"},
    {"text": "Маргааш хүргэнэ гэсэн боловч бараа ирсэнгүй", "label": "delivery_issue"},
    {"text": "Захиалгын төлөв хүргэгдсэн гэж гарсан ч би аваагүй", "label": "delivery_issue"},
    {"text": "Хүргэлтийн хаяг зөв байхад бараа буцаагдсан байна", "label": "delivery_issue"},
    {"text": "Бараа замдаа гэсээр олон хонолоо", "label": "delivery_issue"},
    {"text": "Шуурхай хүргэлт сонгосон ч хугацаандаа ирсэнгүй", "label": "delivery_issue"},
    {"text": "Хүргэлтийн цагийг өөрчилмөөр байна", "label": "delivery_issue"},
    {"text": "Илгээмжний дугаар ажиллахгүй байна", "label": "delivery_issue"},
    {"text": "Миний барааг өөр хаяг руу хүргэсэн бололтой", "label": "delivery_issue"},

    # refund_request
    {"text": "Би захиалгаа цуцлаад мөнгөө буцааж авмаар байна", "label": "refund_request"},
    {"text": "Бараа таалагдсангүй, буцаалт хийх гэсэн юм", "label": "refund_request"},
    {"text": "Мөнгө буцаах хүсэлт илгээхэд туслаач", "label": "refund_request"},
    {"text": "Буруу бараа ирсэн тул төлбөрөө буцаалгамаар байна", "label": "refund_request"},
    {"text": "Захиалга цуцлагдсан мөртлөө мөнгө орж ирээгүй", "label": "refund_request"},
    {"text": "Буцаалтын маягт хаанаас авах вэ", "label": "refund_request"},
    {"text": "Төлбөрийг буцаах хугацаа хэд хоног вэ", "label": "refund_request"},
    {"text": "Гэмтэлтэй бүтээгдэхүүн ирсэн тул мөнгө буцааж өгнө үү", "label": "refund_request"},
    {"text": "Солих биш мөнгөө буцааж авмаар байна", "label": "refund_request"},
    {"text": "Би буцаалт бүртгүүлсэн ч хариу ирээгүй", "label": "refund_request"},
    {"text": "Төлбөр давхар суутгагдсан байна, буцааж өгнө үү", "label": "refund_request"},
    {"text": "Захиалгаа авахаас татгалзсан тул refund хүсэж байна", "label": "refund_request"},

    # positive_feedback
    {"text": "Үйлчилгээ маш хурдан, найрсаг байлаа", "label": "positive_feedback"},
    {"text": "Бараа чанартай, савлагаа сайхан байсан", "label": "positive_feedback"},
    {"text": "Хүргэлт хугацаандаа ирсэнд баярлалаа", "label": "positive_feedback"},
    {"text": "Танай үйлчилгээ үнэхээр таалагдлаа", "label": "positive_feedback"},
    {"text": "Дахин захиалга өгөхдөө баяртай байх болно", "label": "positive_feedback"},
    {"text": "Оператор маш ойлгомжтой тусалсан", "label": "positive_feedback"},
    {"text": "Бүтээгдэхүүн хүлээлтээс давсан чанартай байна", "label": "positive_feedback"},
    {"text": "Хурдан шийдвэрлэж өгсөнд баярлалаа", "label": "positive_feedback"},
    {"text": "Сайхан үйлчилгээ үзүүлсэн багт талархъя", "label": "positive_feedback"},
    {"text": "Захиалга амархан, ойлгомжтой хийгдлээ", "label": "positive_feedback"},
    {"text": "Би найзууддаа танай дэлгүүрийг санал болгоно", "label": "positive_feedback"},
    {"text": "Үнэ боломжийн, үйлчилгээ сайн байлаа", "label": "positive_feedback"},
]


def main():
    df = pd.DataFrame(DATA)

    X = df["text"]
    y = df["label"]

    X_train, X_test, y_train, y_test = train_test_split(
        X,
        y,
        test_size=0.25,
        random_state=42,
        stratify=y
    )

    model = Pipeline([
        ("tfidf", TfidfVectorizer(ngram_range=(1, 2))),
        ("classifier", LogisticRegression(max_iter=1000))
    ])

    model.fit(X_train, y_train)

    y_pred = model.predict(X_test)

    print("=== Evaluation report ===")
    print(classification_report(y_test, y_pred))

    print("=== Confusion matrix ===")
    print(confusion_matrix(y_test, y_pred, labels=model.classes_))
    print("Labels:", model.classes_)

    joblib.dump(model, "message_classifier.joblib")
    print("Model saved to message_classifier.joblib")


if __name__ == "__main__":
    main()

Кодыг ажиллуулъя.

python train_model.py

Үр дүн дараах байдалтай гарна:

Энэ файл дараах ажлуудыг хийж байна:

1. Жишээ өгөгдлийг pandas DataFrame болгож байна.
2. text баганыг оролт, label баганыг зөв хариу болгож байна.
3. Өгөгдлийг сургалтын ба тестийн хэсэгт хувааж байна.
4. Текстийг тоон вектор болгон хувиргах TfidfVectorizer ашиглаж байна.
5. Ангилалт хийх LogisticRegression загвар сургаж байна.
6. Тестийн өгөгдөл дээр үнэлгээ хийж байна.
7. Сургасан загварыг message_classifier.joblib файл болгон хадгалж байна.

Текстийг загвар яаж ойлгодог вэ?

Компьютер “Захиалга хоцорлоо” гэдэг өгүүлбэрийг хүн шиг шууд ойлгохгүй. Тиймээс текстийг тоон хэлбэрт хувиргах хэрэгтэй.

Манай кодонд үүнийг TfidfVectorizer хийж байна.

TfidfVectorizer(ngram_range=(1, 2))

TF-IDF нь үг тухайн өгүүлбэрт хэр чухал байж болохыг тооцдог арга. Жишээ нь:

• “хүргэлт”
• “хоцорч”
• “мөнгө”
• “буцаах”
• “баярлалаа”

гэсэн үгс ангиллыг ялгахад тусална.

ngram_range=(1, 2) гэдэг нь дан үг болон хоёр үгтэй хэллэгийг хамтад нь ашиглана гэсэн үг. Жишээ нь:

• “мөнгө”
• “буцаах”
• “мөнгө буцаах”

Ингэснээр зөвхөн тусдаа үг бус богино хэллэгийн утгыг илүү сайн барих боломжтой.

Загварын таамаглал гэж юу вэ?

Machine learning загвар шинэ оролт авахад хамгийн магадлалтай ангиллыг сонгоно. Гэхдээ энэ нь “үнэн” гэж баталгаатай хэлж байгаа хэрэг биш. Харин сурсан өгөгдөл дээр үндэслэсэн статистик таамаглал юм.

Жишээ нь:

"Бараа гэмтэлтэй ирсэн тул мөнгөө буцааж авмаар байна"

Загвар үүнд refund_request гэж таамаглах магадлал өндөр.

Гэхдээ дараах өгүүлбэр илүү төвөгтэй:

"Хүргэлт удаан байсан ч үйлчилгээний ажилтан сайн тусаллаа"

Энд хүргэлтийн асуудал болон эерэг санал хоёулаа байна. Нэг ангилал сонгох системд ийм өгүүлбэрийг зөв ангилах хэцүү. Энэ нь AI системийн бодит хязгаарлалтын нэг юм.

Загварыг ашиглах жижиг аппликэйшн хийх

Одоо сургасан загварыг ашиглаж шинэ мессеж ангилдаг app.py файл хийе.

import joblib


MODEL_PATH = "message_classifier.joblib"


def predict_message(text, threshold=0.50):
    model = joblib.load(MODEL_PATH)

    predicted_label = model.predict([text])[0]
    probabilities = model.predict_proba([text])[0]

    class_names = model.classes_
    probability_by_class = dict(zip(class_names, probabilities))

    confidence = probability_by_class[predicted_label]

    if confidence < threshold:
        return {
            "text": text,
            "label": "needs_human_review",
            "confidence": round(float(confidence), 3),
            "probabilities": {
                label: round(float(prob), 3)
                for label, prob in probability_by_class.items()
            }
        }

    return {
        "text": text,
        "label": predicted_label,
        "confidence": round(float(confidence), 3),
        "probabilities": {
            label: round(float(prob), 3)
            for label, prob in probability_by_class.items()
        }
    }


def main():
    examples = [
        "Миний захиалга одоо хүртэл ирээгүй байна",
        "Буруу бараа ирсэн тул мөнгөө буцааж авмаар байна",
        "Үйлчилгээ хурдан, ажилтан эелдэг байлаа",
        "Хүргэлт хоцорсон ч оператор сайн тусалсан"
    ]

    for message in examples:
        result = predict_message(message)
        print("\nMessage:", result["text"])
        print("Predicted label:", result["label"])
        print("Confidence:", result["confidence"])
        print("Probabilities:", result["probabilities"])


if __name__ == "__main__":
    main()

import joblib


MODEL_PATH = "message_classifier.joblib"


def predict_message(text, threshold=0.50):
    model = joblib.load(MODEL_PATH)

    predicted_label = model.predict([text])[0]
    probabilities = model.predict_proba([text])[0]

    class_names = model.classes_
    probability_by_class = dict(zip(class_names, probabilities))

    confidence = probability_by_class[predicted_label]

    if confidence < threshold:
        return {
            "text": text,
            "label": "needs_human_review",
            "confidence": round(float(confidence), 3),
            "probabilities": {
                label: round(float(prob), 3)
                for label, prob in probability_by_class.items()
            }
        }

    return {
        "text": text,
        "label": predicted_label,
        "confidence": round(float(confidence), 3),
        "probabilities": {
            label: round(float(prob), 3)
            for label, prob in probability_by_class.items()
        }
    }


def main():
    examples = [
        "Миний захиалга одоо хүртэл ирээгүй байна",
        "Буруу бараа ирсэн тул мөнгөө буцааж авмаар байна",
        "Үйлчилгээ хурдан, ажилтан эелдэг байлаа",
        "Хүргэлт хоцорсон ч оператор сайн тусалсан"
    ]

    for message in examples:
        result = predict_message(message)
        print("\nMessage:", result["text"])
        print("Predicted label:", result["label"])
        print("Confidence:", result["confidence"])
        print("Probabilities:", result["probabilities"])


if __name__ == "__main__":
    main()

Ажиллуулах:

python app.py

Үр дүн:

Message: Миний захиалга одоо хүртэл ирээгүй байна
Predicted label: needs_human_review
Confidence: 0.451
Probabilities: {'delivery_issue': 0.451, 'positive_feedback': 0.27, 'refund_request': 0.279}

Message: Буруу бараа ирсэн тул мөнгөө буцааж авмаар байна
Predicted label: refund_request
Confidence: 0.604
Probabilities: {'delivery_issue': 0.204, 'positive_feedback': 0.192, 'refund_request': 0.604}

Message: Үйлчилгээ хурдан, ажилтан эелдэг байлаа
Predicted label: needs_human_review
Confidence: 0.477
Probabilities: {'delivery_issue': 0.269, 'positive_feedback': 0.477, 'refund_request': 0.254}

Message: Хүргэлт хоцорсон ч оператор сайн тусалсан
Predicted label: needs_human_review
Confidence: 0.385
Probabilities: {'delivery_issue': 0.349, 'positive_feedback': 0.385, 'refund_request': 0.266}

Энд бид joblib.load() ашиглан өмнө хадгалсан загварыг уншиж байна. Дараа нь:

model.predict([text])

гэсэн мөрөөр хамгийн магадлалтай ангиллыг авч байна.

model.predict_proba([text])

гэдэг нь ангилал бүрийн магадлал төст оноог буцаана. Жишээ нь, “Буруу бараа ирсэн тул мөнгөө буцааж авмаар байна” сэтгэгдлийг манай загвар дараах байдлаар таамагласан:

{
    "delivery_issue": 0.204,
    "positive_feedback": 0.192,
    "refund_request": 0.604
}

{
    "delivery_issue": 0.204,
    "positive_feedback": 0.192,
    "refund_request": 0.604
}

Энэ нь загвар refund_request буюу мөнгөө буцааж авах ангиллыг хамгийн өндөр магадлалтай гэж үзэж байна гэсэн үг.

Яагаад confidence threshold хэрэгтэй вэ?

app.py дотор дараах логик бий:

if confidence < threshold:
    return {
        "label": "needs_human_review",
        ...
    }

Энэ нь итгэлцүүр бага үед шууд автомат шийдвэр гаргахгүй, хүний хяналт руу шилжүүлнэ гэсэн санаа юм.

AI системийг үйлдвэрлэлийн орчинд ашиглахдаа бүх зүйлийг 100% автоматжуулах нь эрсдэлтэй. Ялангуяа:

• Санхүүгийн шийдвэр
• Хэрэглэгчийн гомдол
• Эрүүл мэнд, хууль, аюулгүй байдлын асуудал
• Хувийн мэдээлэлтэй холбоотой процесс

зэрэгт хүний баталгаажуулалт хэрэгтэй.

Манай жишээнд threshold=0.50 гэж тавьсан. Энэ бол сургалтын зориулалттай утга. Бодит системд босгыг бизнесийн эрсдэл, алдааны өртөг, хэрэглэгчийн туршлага, тестийн үр дүн дээр үндэслэн сонгоно.

Үнэлгээ: Загвар сайн ажиллаж байна уу?

train_model.py ажиллуулахад дараах хэсэг үнэлгээ хэвлэнэ.

print(classification_report(y_test, y_pred))

classification_report нь ихэвчлэн дараах хэмжүүрүүдийг харуулдаг:

• precision
• recall
• f1-score
• support

Precision

Загвар тухайн ангилал гэж хэлсэн тохиолдлуудаас хэд нь үнэхээр зөв байсан бэ?

Жишээ нь загвар 10 мессежийг refund_request гэж ангилаад 8 нь үнэн байсан бол precision өндөр байна.

Recall

Тухайн ангиллын бодит бүх жишээнээс хэдийг нь загвар олсон бэ?

Жишээ нь нийт 10 буцаалтын хүсэлт байхад загвар 6-г нь л олсон бол recall дунд байна.

F1-score

Precision болон recall-ийн тэнцвэржүүлсэн хэмжүүр. Нэг талаас нь хараад буруу дүгнэлт хийхээс сэргийлнэ.

Confusion matrix

print(confusion_matrix(y_test, y_pred, labels=model.classes_))

Confusion matrix нь аль ангиллыг аль ангилалтай андуурч байгааг харуулна. Жишээ нь delivery_issue мессежийг positive_feedback гэж андуурч байвал өгөгдөл эсвэл ангиллын тодорхойлолтоо сайжруулах хэрэгтэй.

AI хаана үнэ цэн нэмдэг вэ?

AI, ялангуяа machine learning дараах нөхцөлд сайн тохирдог:

1. Дүрэм бичихэд хэт олон хувилбартай үед

Хэрэглэгчийн текст, зураг, аудио, зан төлөв зэрэг нь олон янз байдаг. Бүх боломжит нөхцөлийг if/else дүрмээр бичихэд хэцүү.

2. Түүхэн өгөгдөл хангалттай үед

Өмнөх жишээ их байх тусам загвар хэв шинжийг илүү сайн сурна. Жишээ нь олон мянган хэрэглэгчийн хүсэлт, зөв ангилалтайгаа байвал илүү найдвартай систем бүтээх боломжтой.

3. Таамаглал хангалттай үед

Зарим системд 100% баталгаатай хариу шаардлагагүй. Жишээ нь хэрэглэгчийн хүсэлтийг урьдчилж ангилаад хүний багт санал болгох бол AI тохиромжтой.

4. Процессын хурд, хэмжээг нэмэх шаардлагатай үед

Өдөрт 50 мессеж ирдэг бол гараар ангилахад болно. Харин өдөрт 50,000 мессеж ирвэл автомат туслах систем үнэ цэнтэй.

Уламжлалт програмчлал хаана илүү дээр вэ?

AI үргэлж хамгийн зөв сонголт биш.

1. Дүрэм тодорхой, тогтвортой үед

Жишээ нь:

if total_price > 100000:
    apply_free_shipping = True

Энэ дүрэм тодорхой. Үүнд machine learning хэрэггүй.

2. Алдаа гаргах боломжгүй үед

Банкны гүйлгээний энгийн шалгалт, татварын тооцоо, зөвшөөрлийн дүрэм зэрэгт тодорхой логик хэрэгтэй. AI таамаглал гаргадаг тул хатуу дүрэмтэй хэсгийг орлох ёсгүй.

3. Өгөгдөл байхгүй эсвэл чанар муу үед

Machine learning өгөгдлөөс сурдаг. Буруу, дутуу, нэг талыг барьсан өгөгдөлтэй бол загвар мөн адил буруу сурна.

4. Тайлбарлах шаардлага өндөр үед

Зарим салбарт шийдвэрийн шалтгааныг нарийн тайлбарлах шаардлагатай. Энгийн дүрэм эсвэл тайлбарлагдах загвар илүү тохиромжтой байж болно.

Бүрэн workflow-ийг нэгтгэн харах

Манай AI аппликэйшний workflow дараах байдалтай:

1. Жишээ өгөгдөл бэлдэх
2. Text + label хэлбэрт оруулах
3. Train/test split хийх
4. Текстийг TF-IDF вектор болгох
5. Logistic Regression загвар сургах
6. Тест өгөгдөл дээр үнэлэх
7. Загварыг файл болгон хадгалах
8. Шинэ мессеж дээр таамаглал хийх
9. Итгэлцүүр бага бол хүний хяналт руу шилжүүлэх

Энэ бол олон AI системийн үндсэн логиктой төстэй. Мэдээж бодит production системд өгөгдлийн pipeline, authentication, logging, monitoring, versioning, rollback, security review зэрэг нэмэлт бүрэлдэхүүн орно.

Дүгнэлт

Энэ нийтлэлээр бид Python ашиглан анхны AI-powered аппликэйшнээ бүтээлээ. Бид хэрэглэгчийн мессежийг delivery_issue, refund_request, positive_feedback гэсэн ангиллуудад хуваадаг энгийн machine learning систем хийсэн.

Гол санаанууд:

• AI бол өргөн ойлголт, machine learning нь өгөгдлөөс суралцдаг AI-ийн дэд салбар
• Deep learning хүчтэй ч бүх асуудалд шаардлагатай биш
• Загварын чанар өгөгдлийн чанараас шууд хамаарна
• Таамаглал нь баталгаатай үнэн биш, магадлалтай шийдвэр
• Үнэлгээнд зөвхөн accuracy бус precision, recall, confusion matrix зэргийг харах хэрэгтэй
• AI ашиглах нь үргэлж зөв сонголт биш; заримдаа энгийн дүрэм илүү найдвартай, хямд, тайлбарлахад амар