Ақпаратты өңдеу және деректерді визуализациялау
Сабақтың коды Курс аты Сынып Академиялық кредит Cағат Апталық сабақ сағаттары (лекция) Апталық сабақ сағаттары (практика) Апталық сабақ сағаттары (зертханалық)
UDOSZhA 4214 Үлкен Деректерді Өңдеу Және Сақтау Жүйелерін Әзірлеу төртінші курс 5 150 1 2 2
Пәннің сипаттамасы
Қазақ тілі
PhD, аға оқытушы A.Абибуллаева

Пән студенттерді үлкен деректер көздерін табу және түсіндіру, үлкен көлемді мәліметтерді басқару, деректер көздерін біріктіру, деректер жиынтығының келісімділігін қамтамасыз ету және мәліметтерді түсінуге көмектесетін визуализация жасау, деректерді пайдалана отырып математикалық модельдерді құру дағдыларына, сонымен қатар Пререквизит:   Постреквизит: саласында, нақты айтқанда табиғи тілді өңдеу саласында практикалық жұмыс істей білуге үйрету болып табылады.

---

Алгоритмдер және деректер құрылымы

жобалау, проблемалық оқыту, топтық жұмыс, бұлттық технология, ақпараттық технология, дамыта оқыту технологиясы әдістері

1Үлкен көлемдегі ақпаратты талдауды және деректерді басқаруды ұйымдастыруды үйренеді.
2Жаңа технологияларды қолдану арқылы мәліметтерді өңдеу және талдауды орындайды.
3Үлкен деректер технологиясының мүмкіндіктерін ескере отырып, ұйымның ақпараттық инфрақұрылымының жаңа үлгілерін жасау.
4Деректерді талдаудың теориялық және практикалық аспектілерін қарқынды түрде қарастырады.
5Қашықтағы мәліметтер базасы мен ақпараттық жүйелердің әртүрлі құрамдас бөліктерін жобалай және жобалай алады.
6Интернет қолданбаларын пайдаланады және біледі.
Haftalık KonuБағалау әдісі
1Үлкен деректерге сипаттама. Улкен деректердің маңызы.
2Үлкен деректер құралдары және олардың функциясы.
3Дистрибутивтар жайлы негізгі деректер. Apache, Cloudera, Horton Works артықшылықтары мен айырмашылықтары.
4HADOOP архитектурасы.
5Платформаға сипаттама. «HADOOP» экожүйесінің компоненттері.
6Hadoop негізгі принциптері. Hadoop компоненттері. Hadoop 2.0
7MapReduce функцияларының үлкен деректермен жұмыс істеу жолдары. MapReduce – граф түрінде алгоритмдеу.
8Hive, Pig компоненттерінің жұмыс жасау технологиясы. Компоненттерде сұрауларды орындау.
9Инфрақұрылым және құрылымдық мәліметтерді Hive арқылы құру.
10Үлкен деректер шешімдерін масштабтауға арналған негіз: RDBMS, NoSQL және Hbase.
11Нақты деректерді қолданатын ауқымды шешімдер. MongoDB.
12Деректер аналитикасы және визуализациясы. Нақты тілдерді өңдеу: Apache Kafka.
13Apache Falcon және Ozie компоненттерінде шешімдер. Spark және Storm компоненттерінің жұмыс жасау технологиялары.
14Машиналық оқыту кітапханасы – Mahout-тың жұмыс жасау алгоритмі. Mahout кластеризациясы.
15Үлкен деректер мен жасанды интеллекттің арасындағы өзара байланысты «HADOOP» экожүйесі арқылы көрсету.
Пәннің оқу нәтижелерімен байланысы
PÇ1PÇ2PÇ3PÇ4PÇ5PÇ6PÇ7PÇ8PÇ9PÇ10PÇ11PÇ12
Оқулық / Материал / Ұсынылатын ресурстар
1Исахметов Т.И., Шадиева А.А., Жаздыкбаева Д.П., Big Data технологиялар. Алматы -2022.
2A. K. Mukasheva, T. F. Umarov, I. A. Zimin, Big data analytics. Textbook, Almaty, 2022.
3Деректер қоры жүйелері Нур-Принт Алматы, 2012ж. Оқу-әдістемелік құрал
4Технологии и инфраструктура BIG DATA, И. А. Радченко, И. Н. Николаев, 2018, ИТМО, учебник, СПб.52
5Силен, Д. и др. Основы Data Science и Big Data. Python и наука о данных. / Д. Силен, А. Мейсман, М. Али.