ÀÎÅÚÀº ¸ÞŸÀÇ ÃֽŠLLMÀÎ ¶ó¸¶ 3.1¿¡ µ¥ÀÌÅͼ¾ÅÍ, ¿§Áö ¹× Ŭ¶óÀ̾ðÆ® AI Á¦Ç° Àü¹Ý¿¡ °ÉÄ£ ¼º´É µ¥ÀÌÅÍ ¹× ÃÖÀûȸ¦ Á¦°øÇÑ´Ù°í ¹àÇû´Ù.
ÀÎÅÚÀº AI ¿¡ºê¸®¿þ¾î Àü·«À» À§ÇØ AI ¼ÒÇÁÆ®¿þ¾î »ýÅ°迡 Áö¼ÓÀûÀ¸·Î ÅõÀÚÇÏ°í ÀÖÀ¸¸ç, »õ·Î¿î ¸ðµ¨ÀÌ ÀÎÅÚÀÇ AI Çϵå¿þ¾î¿¡ ÃÖÀûȵǵµ·Ï º¸ÀåÇÏ°í ÀÖ´Ù.
¸ÞŸ´Â Áö³ 4¿ù ¶ó¸¶ 3 Ãâ½Ã¿¡ À̾î, Áö³ 23ÀÏ ÇöÀç±îÁö °¡Àå ¼º´ÉÀÌ ¶Ù¾î³ ¸ðµ¨ÀÎ ¶ó¸¶ 3.1À» Ãâ½ÃÇß´Ù. ¶ó¸¶ 3.1Àº °ø°³ÀûÀ¸·Î »ç¿ë °¡´ÉÇÑ °¡Àå Å« ÆÄ¿îµ¥ÀÌ¼Ç ¸ðµ¨ÀÎ ¶ó¸¶ 3.1 405B¸¦ Æ÷ÇÔÇØ ´Ù¾çÇÑ ±Ô¸ð¿Í ±â´É¿¡¼ ¿©·¯ »õ·Î¿î ¾÷µ¥ÀÌÆ® ¸ðµ¨À» Á¦°øÇÑ´Ù.
ÀÌ »õ·Î¿î ¸ðµ¨µéÀº ÆÄÀÌÅäÄ¡ ¹× ÀÎÅÚ ÆÄÀÌÅäÄ¡ ÀͽºÅÙ¼Ç, µö½ºÇǵå, Çã±ë ÆäÀ̽º ¿ÉƼ¸Ø ¶óÀ̺귯¸®, vLLM µî °³¹æÇü »ýÅÂ°è ¼ÒÇÁÆ®¿þ¾î¸¦ ÅëÇØ ÀÎÅÚ AI Á¦Ç°¿¡¼ È°¼ºÈ ¹× ÃÖÀûȵȴÙ. ¶ÇÇÑ »ýÅ°è Àü¹Ý¿¡¼ ÃÖ°íÀÇ Çõ½ÅÀ» È°¿ëÇÏ´Â °³¹æÇü, ¸ÖƼ º¥´õ, °·ÂÇÏ°í ÄÄÆ÷ÀúºíÇÑ »ý¼ºÇüAI ¼Ö·ç¼ÇÀ» ¸¸µé±â À§ÇÑ LF AI ¹× µ¥ÀÌÅÍ Àç´ÜÀÇ »õ·Î¿î ¿ÀÇ Ç÷§Æû ÇÁ·ÎÁ§Æ®ÀÎ OPEA ¿ª½Ã ÀÌ ¸ðµ¨µéÀ» Áö¿øÇÑ´Ù.
¶ó¸¶ 3.1 ´Ù±¹¾î LLM Ä÷º¼ÇÀº 8B, 70B, 405B Å©±â(ÅؽºÆ® ÀÎ/ÅؽºÆ® ¾Æ¿ô)ÀÇ »çÀü ÇнÀ ¹× Á¶Á¤(ÀνºÆ®·°¼Ç Æ©´×)µÈ »ý¼º ¸ðµ¨ Ä÷º¼ÇÀ¸·Î, ¸ðµç ¸ðµ¨Àº 8°³ ±¸¼ú¾î¿¡ °ÉÃÄ ±ä ÄÁÅؽºÆ® ±æÀ̸¦ Áö¿øÇÑ´Ù. ¶ó¸¶ 3.1 405B´Â ÀÏ¹Ý Áö½Ä, Á¶ÀÛ¼º, ¼öÇÐ, µµ±¸ »ç¿ë ¹× ´Ù±¹¾î ¹ø¿ª¿¡ ÀÖ¾î ÃÖ÷´Ü ±â´ÉÀ» °®Ãß°í ÀÖ´Ù. À̸¦ ÅëÇØ Ä¿¹Â´ÏƼ´Â ÇÕ¼º µ¥ÀÌÅÍ »ý¼º ¹× ¸ðµ¨ Áõ·ù¿Í °°Àº »õ·Î¿î ±â´ÉÀ» È°¿ëÇÒ ¼ö ÀÖ°Ô µÉ °ÍÀÌ´Ù.
ÀÎÅÚ AI Á¦Ç° Æ÷Æ®Æú¸®¿À ¶ó¸¶ 3.1 ¸ðµ¨ Ãʱ⠼º´É ÃøÁ¤ °á°ú
ÀÎÅÚ °¡¿ìµð ¹× ÀÎÅÚ Á¦¿Â, ÀÎÅÚ ÄÚ¾î Ultra ÇÁ·Î¼¼¼ ¹× ÀÎÅÚ ¾ÆÅ© ±×·¡ÇÈÀÌ Å¾ÀçµÈ AI PC¸¦ Æ÷ÇÔÇØ ÀÎÅÚ AI Á¦Ç° Æ÷Æ®Æú¸®¿À »ó¿¡¼ÀÇ ¶ó¸¶ 3.1 ¸ðµ¨ Ãʱ⠼º´É ÃøÁ¤ °á°ú´Â ´ÙÀ½°ú °°´Ù.
ÀÎÅÚ °¡¿ìµð AI °¡¼Ó±â´Â »ý¼ºÇü AI ¹× ´ëÇü ¾ð¾î ¸ðµ¨ÀÇ °í¼º´É °¡¼ÓÀ» À§ÇØ ¼³°èµÇ¾ú´Ù. ¾Æ·¡ Ç¥´Â »õ·Î¿î ¶ó¸¶ 3.1 70B ¹× 405B ¸ðµ¨¿¡ ´ëÇÑ Ãß·Ð ¼º´ÉÀ» Á¦°øÇÏ´Â ÀÎÅÚ °¡¿ìµð 2ÀÇ ¼º´É ÃøÁ¤Ä¡¸¦ ³ªÅ¸³½´Ù.
405B ¸ðµ¨ÀÇ Ãʱ⠼º´É ÃøÁ¤Àº °¢ 8°³ÀÇ °¡¿ìµð 2 °¡¼Ó±â¸¦ °®Ãá µÎ ³ëµå¿¡¼ ¼öÇàµÇ¾ú´Ù. ÀÎÅÚ °¡¿ìµð ¼ÒÇÁÆ®¿þ¾îÀÇ ¼º¼÷¼º ´öºÐ¿¡ »ç¿ëÀÚ´Â »õ·Î¿î ¶ó¸¶ 3.1 ¸ðµ¨À» ½±°Ô ½ÇÇàÇÏ°í ºü¸£°Ô Ãß·Ð °á°ú¸¦ »ý¼ºÇÒ ¼ö ÀÖ´Ù.Ç¥1. 16´ëÀÇ ÀÎÅÚ °¡¿ìµð °¡¼Ó±â »ó¿¡¼ÀÇ ¶ó¸¶ 3.1 405B Ãß·Ð °á°ú
|
|
|
Ç¥1. 16´ëÀÇ ÀÎÅÚ °¡¿ìµð °¡¼Ó±â »ó¿¡¼ÀÇ ¶ó¸¶ 3.1 405B Ãß·Ð °á°ú |
|
|
|
Ç¥ 2. 8´ëÀÇ ÀÎÅÚ °¡¿ìµð °¡¼Ó±â »ó¿¡¼ÀÇ ¶ó¸¶ 3.1 70B Ãß·Ð °á°ú |
ÀÎÅÚ Á¦¿Â ÇÁ·Î¼¼¼´Â ÀÏ¹Ý ÄÄÇ»ÆÃÀÇ À¯ºñÄõÅͽº ¹éº»À¸·Î, Àü ¼¼°èÀûÀ¸·Î °·ÂÇÑ ÄÄÇ»Æà ÀÚ¿ø¿¡ ½±°Ô Á¢±ÙÇÒ ¼ö ÀÖ´Ù. ÇöÀç ¸ðµç ÁÖ¿ä Ŭ¶ó¿ìµå ¼ºñ½º Á¦°ø¾÷ü¿¡¼ »ç¿ë °¡´ÉÇÑ ÀÎÅÚ Á¦¿Â ÇÁ·Î¼¼¼´Â AI ¼º´ÉÀ» »õ·Î¿î ¼öÁØÀ¸·Î ²ø¾î¿Ã¸° AI ¿£Áø, ÀÎÅÚ ¾îµå¹ê½ºµå ¸ÅÆ®¸¯½º ÀͽºÅÙ¼ÇÀ» ¸ðµç Äھ žÀçÇÏ°í ÀÖ´Ù.
º¥Ä¡¸¶Å· °á°ú¿¡ µû¸£¸é, 1õ °³ÀÇ ÅäÅ« ÀÔ·Â ¹× 128°³ÀÇ ÅäÅ« Ãâ·ÂÀ¸·Î ¶ó¸¶ 3.1 8B ¸ðµ¨À» ½ÇÇàÇϸé 5¼¼´ë ÀÎÅÚ Á¦¿Â Ç÷§Æû¿¡¼ ÃÊ´ç 176°³ÀÇ ÅäÅ« 󸮷®À» ´Þ¼ºÇÒ ¼ö ÀÖÀ¸¸ç, ÅäÅ«ÀÇ Áö¿¬ ½Ã°£À» 50ms ÀÌÇÏ·Î À¯ÁöÇÒ ¼ö ÀÖ´Ù. ¾Æ·¡ ±×¸² 1¿¡¼´Â 12¸¸ 8õ °³ÀÇ ÅäÅ« ÄÁÅؽºÆ® ±æÀ̸¦ ¶ó¸¶ 3.1 8B ¸ðµ¨·Î Áö¿øÇÒ ¶§ Áö¿¬ ½Ã°£ÀÌ 100ms ÀÌÇÏ·Î À¯ÁöµÉ ¼ö ÀÖÀ½À» È®ÀÎÇÒ ¼ö ÀÖ´Ù.
ÀÎÅÚ ÄÚ¾î Ultra ÇÁ·Î¼¼¼¿Í ÀÎÅÚ ¾ÆÅ© ±×·¡ÇÈÀÌ Å¾ÀçµÈ AI PC´Â Ŭ¶óÀ̾ðÆ®¿Í ¿§Áö¿¡¼ ¶Ù¾î³ ¿Âµð¹ÙÀ̽º AI Ãß·Ð ¼º´ÉÀ» Á¦°øÇÑ´Ù. ÀÎÅÚ ÄÚ¾î Ç÷§ÆûÀÇ NPU¿Í ¾ÆÅ© GPUÀÇ ÀÎÅÚ Xe ¸ÅÆ®¸¯½º ÀͽºÅÙ¼Ç °¡¼Ó°ú °°Àº Æ¯ÈµÈ AI Çϵå¿þ¾î¸¦ ÅëÇØ AI PC¿¡¼ °æ·®ÈµÈ ÆÄÀÎÆ©´× ¹× ¾ÖÇø®ÄÉÀÌ¼Ç ¸ÂÃãÈ°¡ ±× ¾î´À ¶§º¸´Ù ½¬¿öÁ³´Ù.
·ÎÄà ¿¬±¸ °³¹ßÀ» À§ÇØ ÆÄÀÌÅäÄ¡ ¹× ÀÎÅÚ ÆÄÀÌÅäÄ¡ ÀͽºÅټǰú °°Àº °³¹æÇü »ýÅ°è ÇÁ·¹ÀÓ¿öÅ©°¡ È°¼ºÈµÇ°í °¡¼ÓȵǾú´Ù. »ý»ê ´Ü°è¿¡¼´Â ÀÎÅÚÀÇ ¿ÀǺñ³ë ÅøÅ°Æ®¸¦ È°¿ëÇÏ¿© AI PC¿¡¼ È¿À²ÀûÀÎ ¸ðµ¨ ¹èÆ÷ ¹× Ãß·ÐÀ» ¼öÇàÇÒ ¼ö ÀÖ´Ù. AI ¿öÅ©·Îµå´Â ÃÖÀûÀÇ ¼º´ÉÀ» À§ÇØ CPU, GPU, NPU °£¿¡ ¿øÈ°ÇÏ°Ô ¹èÆ÷µÉ ¼ö ÀÖ´Ù.
ÀÎÅÚÀÇ AI Ç÷§Æû°ú ¼Ö·ç¼ÇÀº ¿£ÅÍÇÁ¶óÀÌÁî¿ë AI RAG ¹èÆ÷¸¦ °¡¼ÓÈÇÑ´Ù. OPEAÀÇ Ã¢¸³ ȸ¿ø Áß ÇϳªÀÎ ÀÎÅÚÀº ¿£ÅÍÇÁ¶óÀÌÁî¿ë AI¸¦ À§ÇÑ °³¹æÇü »ýÅÂ°è ±¸Ãà¿¡ ¾ÕÀå¼°í ÀÖ´Ù. OPEA°¡ ¶ó¸¶3.1 ¸ðµ¨À» È°¿ëÇÏ¿© ¼º´ÉÀ» ÃÖÀûÈÇß´Ù´Â Á¡ÀÌ ÁÖ¸ñÇÒ ¸¸ÇÏ´Ù.
OPEA´Â ¿£ÅÍÇÁ¶óÀÌÁî¿ë ¿ÀÇ ¼Ò½º, Ç¥ÁØÈ ¹× ¸ðµâÈµÈ À̱âÁ¾ RAG ÆÄÀÌÇÁ¶óÀÎÀ» Á¦°øÇÑ´Ù. ÀÌ´Â ±¸¼º ¹× ¼³Á¤ °¡´ÉÇÑ ¸ÖƼ ÆÄÆ®³Ê ¿ä¼Ò¸¦ ±â¹ÝÀ¸·Î ±¸ÃàµÈ´Ù. ÀÌ Æò°¡¿¡¼´Â OPEA û»çÁø¿¡ ¸¶ÀÌÅ©·Î¼ºñ½º°¡ ¹èÆ÷µÇ¾ú´Ù. E2E RAG ÆÄÀÌÇÁ¶óÀÎÀº LLM Ã߷п¡ ¶ó¸¶ 3.1À» »ç¿ëÇϸç, ÀÓº£µù¿¡´Â BAAI/bge-base-en-v1.5°¡ »ç¿ëµÇ°í, º¤ÅÍ DB¿¡´Â ·¹µð½º°¡ »ç¿ëµÇ¸ç, ¿ÀÄɽºÆ®·¹À̼ǿ¡´Â Äí¹ö³×Ƽ½º°¡ »ç¿ëµÈ´Ù.
Á¦¿Â ½Ã½ºÅÛ¿¡ 8°³ÀÇ °¡¿ìµð 2 Ä«µå¸¦ »ç¿ëÇÏ¿© OPEA ±â¹Ý ¿£ÅÍÇÁ¶óÀÌÁî¿ë RAG ÂüÁ¶ ¼Ö·ç¼ÇÀ» ½ÇÇàÇÑ ¼º´É µ¥ÀÌÅÍ´Â ¾Æ·¡¿¡¼ È®ÀÎÇÒ ¼ö ÀÖ´Ù. ÇØ´ç µ¥ÀÌÅÍ¿¡´Â ÀÓº£µùÀÇ P99 ¿£µå-Åõ-¿£µå Áö¿¬ ½Ã°£°ú ÃÊ´ç »ý¼ºµÈ ÅäÅ« ¼ö, ±×¸®°í LLM¿¡¼ 128°³ÀÇ Äõ¸® ÅäÅ«¿¡ ´ëÇÑ ¼º´É µ¥ÀÌÅÍ°¡ Æ÷ÇԵǾî ÀÖ´Ù. ¶ÇÇÑ, LLM¿¡¼ 1024°³ÀÇ ÀÔ·Â ÅäÅ« ¹× Ãâ·Â ÅäÅ«¿¡ ´ëÇÑ ¼º´É µ¥ÀÌÅ͵µ Æ÷ÇԵǾî ÀÖ´Ù.
°á·ÐÀûÀ¸·Î, ÇöÀç ÀÎÅÚ AI PC ¹× µ¥ÀÌÅͼ¾ÅÍ AI Á¦Ç° Æ÷Æ®Æú¸®¿À¿Í ¼Ö·ç¼ÇÀº ¶ó¸¶ 3.1À» ½ÇÇàÇÒ ¼ö ÀÖÀ¸¸ç, OPEA´Â ÀÎÅÚ °¡¿ìµð 2 ¹× Á¦¿Â Á¦Ç°±º¿¡¼ ¶ó¸¶ 3.1À» ÅëÇØ ¿ÏÀüÈ÷ È°¼ºÈµÇ°í ÀÖ´Ù.
ÀÎÅÚÀº »õ·Î¿î ¸ðµ¨°ú »ç¿ë »ç·Ê¸¦ Áö¿øÇϱâ À§ÇØ Áö¼ÓÀûÀ¸·Î ¼ÒÇÁÆ®¿þ¾î ÃÖÀûȸ¦ ÁøÇàÇÏ°í ÀÖ´Ù. |