Å×Å©³ë¾Æ
Ȩ > ´º½º > ¾÷°è¼Ò½Ä
ÀÎÅÚ, ÃֽŠ´ë±Ô¸ð ¾ð¾î ¸ðµ¨ ¶ó¸¶ 3.1 ÃÖÀûÈ­ Áö¿ø
ÀÌ°æ¼® ±âÀÚ  |  it@technoa.co.kr
ÆùƮŰ¿ì±â ÆùÆ®ÁÙÀ̱â ÇÁ¸°Æ®Çϱ⠸ÞÀϺ¸³»±â ½Å°íÇϱâ
½ÂÀÎ 2024.07.25  11:45:29
Æ®À§ÅÍ ÆäÀ̽ººÏ ¹ÌÅõµ¥ÀÌ ¿äÁò ³×À̹ö ±¸±Û msn

ÀÎÅÚÀº ¸ÞŸÀÇ ÃֽŠLLMÀΠ¶ó¸¶ 3.1¿¡ µ¥ÀÌÅͼ¾ÅÍ, ¿§Áö ¹× Å¬¶óÀ̾ðÆ® AI Á¦Ç° Àü¹Ý¿¡ °ÉÄ£ ¼º´É µ¥ÀÌÅÍ ¹× ÃÖÀûÈ­¸¦ Á¦°øÇÑ´Ù°í ¹àÇû´Ù.

ÀÎÅÚÀº AI ¿¡ºê¸®¿þ¾î Àü·«À» À§ÇØ AI ¼ÒÇÁÆ®¿þ¾î »ýÅ°迡 Áö¼ÓÀûÀ¸·Î ÅõÀÚÇÏ°í ÀÖÀ¸¸ç, »õ·Î¿î ¸ðµ¨ÀÌ ÀÎÅÚÀÇ AI Çϵå¿þ¾î¿¡ ÃÖÀûÈ­µÇµµ·Ï º¸ÀåÇÏ°í ÀÖ´Ù.

¸ÞŸ´Â Áö³­ 4¿ù ¶ó¸¶ 3 Ãâ½Ã¿¡ À̾î, Áö³­ 23ÀÏ ÇöÀç±îÁö °¡Àå ¼º´ÉÀÌ ¶Ù¾î³­ ¸ðµ¨ÀΠ¶ó¸¶ 3.1À» Ãâ½ÃÇß´Ù. ¶ó¸¶ 3.1Àº °ø°³ÀûÀ¸·Î »ç¿ë °¡´ÉÇÑ °¡Àå Å« ÆÄ¿îµ¥À̼Ǡ¸ðµ¨ÀΠ¶ó¸¶ 3.1 405B¸¦ Æ÷ÇÔÇØ ´Ù¾çÇÑ ±Ô¸ð¿Í ±â´É¿¡¼­ ¿©·¯ »õ·Î¿î ¾÷µ¥ÀÌÆ® ¸ðµ¨À» Á¦°øÇÑ´Ù.

ÀÌ »õ·Î¿î ¸ðµ¨µéÀº ÆÄÀÌÅäÄ¡ ¹× ÀÎÅÚ ÆÄÀÌÅäÄ¡ ÀͽºÅÙ¼Ç, µö½ºÇǵå, Çã±ë ÆäÀ̽º ¿ÉƼ¸Ø ¶óÀ̺귯¸®, vLLM µî °³¹æÇü »ýÅ°蠼ÒÇÁÆ®¿þ¾î¸¦ ÅëÇØ ÀÎÅÚ AI Á¦Ç°¿¡¼­ È°¼ºÈ­ ¹× ÃÖÀûÈ­µÈ´Ù. ¶ÇÇÑ »ýÅ°è Àü¹Ý¿¡¼­ ÃÖ°íÀÇ Çõ½ÅÀ» È°¿ëÇϴ °³¹æÇü, ¸ÖƼ º¥´õ, °­·ÂÇÏ°í ÄÄÆ÷ÀúºíÇÑ »ý¼ºÇüAI ¼Ö·ç¼ÇÀ» ¸¸µé±â À§ÇÑ LF AI ¹× µ¥ÀÌÅÍ Àç´ÜÀÇ »õ·Î¿î ¿ÀÇ Ç÷§Æû ÇÁ·ÎÁ§Æ®ÀΠOPEA ¿ª½Ã ÀÌ ¸ðµ¨µéÀ» Áö¿øÇÑ´Ù.

¶ó¸¶ 3.1 ´Ù±¹¾î LLM Ä÷º¼ÇÀº 8B, 70B, 405B Å©±â(ÅؽºÆ® ÀÎ/ÅؽºÆ® ¾Æ¿ô)ÀÇ »çÀü ÇнÀ ¹× Á¶Á¤(ÀνºÆ®·°¼Ç Æ©´×)µÈ »ý¼º ¸ðµ¨ Ä÷º¼ÇÀ¸·Î, ¸ðµç ¸ðµ¨Àº 8°³ ±¸¼ú¾î¿¡ °ÉÃÄ ±ä ÄÁÅؽºÆ® ±æÀ̸¦ Áö¿øÇÑ´Ù. ¶ó¸¶ 3.1 405B´Â ÀϹݠÁö½Ä, Á¶ÀÛ¼º, ¼öÇÐ, µµ±¸ »ç¿ë ¹× ´Ù±¹¾î ¹ø¿ª¿¡ ÀÖ¾î ÃÖ÷´Ü ±â´ÉÀ» °®Ãß°í ÀÖ´Ù. À̸¦ ÅëÇØ Ä¿¹Â´ÏƼ´Â ÇÕ¼º µ¥ÀÌÅÍ »ý¼º ¹× ¸ðµ¨ Áõ·ù¿Í °°Àº »õ·Î¿î ±â´ÉÀ» È°¿ëÇÒ ¼ö ÀÖ°Ô µÉ °ÍÀÌ´Ù.

ÀÎÅÚ AI Á¦Ç° Æ÷Æ®Æú¸®¿À ¶ó¸¶ 3.1 ¸ðµ¨ Ãʱ⠼º´É ÃøÁ¤ °á°ú

ÀÎÅÚ °¡¿ìµð ¹× ÀÎÅÚ Á¦¿Â, ÀÎÅÚ ÄÚ¾î Ultra ÇÁ·Î¼¼¼­ ¹× ÀÎÅÚ ¾ÆÅ© ±×·¡ÇÈÀ̠žÀçµÈ AI PC¸¦ Æ÷ÇÔÇØ ÀÎÅÚ AI Á¦Ç° Æ÷Æ®Æú¸®¿À »ó¿¡¼­ÀÇ ¶ó¸¶ 3.1 ¸ðµ¨ Ãʱ⠼º´É ÃøÁ¤ °á°ú´Â ´ÙÀ½°ú °°´Ù.

ÀÎÅÚ °¡¿ìµð AI °¡¼Ó±â´Â »ý¼ºÇü AI ¹× ´ëÇü ¾ð¾î ¸ðµ¨ÀÇ °í¼º´É °¡¼ÓÀ» À§ÇØ ¼³°èµÇ¾ú´Ù. ¾Æ·¡ Ç¥´Â »õ·Î¿î ¶ó¸¶ 3.1 70B ¹× 405B ¸ðµ¨¿¡ ´ëÇÑ Ã߷Р¼º´ÉÀ» Á¦°øÇϴ ÀÎÅÚ °¡¿ìµð 2ÀÇ ¼º´É ÃøÁ¤Ä¡¸¦ ³ªÅ¸³½´Ù.

405B ¸ðµ¨ÀÇ Ãʱ⠼º´É ÃøÁ¤Àº °¢ 8°³ÀÇ °¡¿ìµð 2 °¡¼Ó±â¸¦ °®ÃᠵΠ³ëµå¿¡¼­ ¼öÇàµÇ¾ú´Ù. ÀÎÅÚ °¡¿ìµð ¼ÒÇÁÆ®¿þ¾îÀÇ ¼º¼÷¼º ´öºÐ¿¡ »ç¿ëÀڴ »õ·Î¿î ¶ó¸¶ 3.1 ¸ðµ¨À» ½±°Ô ½ÇÇàÇÏ°í ºü¸£°Ô Ã߷Р°á°ú¸¦ »ý¼ºÇÒ ¼ö ÀÖ´Ù.Ç¥1. 16´ëÀÇ ÀÎÅÚ °¡¿ìµð °¡¼Ó±â »ó¿¡¼­ÀÇ ¶ó¸¶ 3.1 405B Ã߷Р°á°ú

   
Ç¥1. 16´ëÀÇ ÀÎÅÚ °¡¿ìµð °¡¼Ó±â »ó¿¡¼­ÀÇ ¶ó¸¶ 3.1 405B Ã߷Р°á°ú
   
Ç¥ 2. 8´ëÀÇ ÀÎÅÚ °¡¿ìµð °¡¼Ó±â »ó¿¡¼­ÀÇ ¶ó¸¶ 3.1 70B Ã߷Р°á°ú

ÀÎÅÚ Á¦¿Â ÇÁ·Î¼¼¼­´Â ÀϹݠÄÄÇ»ÆÃÀÇ À¯ºñÄõÅͽº ¹éº»À¸·Î, Àü ¼¼°èÀûÀ¸·Î °­·ÂÇÑ ÄÄÇ»ÆàÀÚ¿ø¿¡ ½±°Ô Á¢±ÙÇÒ ¼ö ÀÖ´Ù. ÇöÀç ¸ðµç ÁÖ¿ä Å¬¶ó¿ìµå ¼­ºñ½º Á¦°ø¾÷ü¿¡¼­ »ç¿ë °¡´ÉÇÑ ÀÎÅÚ Á¦¿Â ÇÁ·Î¼¼¼­´Â AI ¼º´ÉÀ» »õ·Î¿î ¼öÁØÀ¸·Î ²ø¾î¿Ã¸° AI ¿£Áø, ÀÎÅÚ ¾îµå¹ê½ºµå ¸ÅÆ®¸¯½º ÀͽºÅÙ¼ÇÀ» ¸ðµç Äھ Å¾ÀçÇÏ°í ÀÖ´Ù.

º¥Ä¡¸¶Å· °á°ú¿¡ µû¸£¸é, 1õ °³ÀÇ ÅäÅ« ÀԷ ¹× 128°³ÀÇ ÅäÅ« Ãâ·ÂÀ¸·Î ¶ó¸¶ 3.1 8B ¸ðµ¨À» ½ÇÇàÇϸé 5¼¼´ë ÀÎÅÚ Á¦¿Â Ç÷§Æû¿¡¼­ ÃÊ´ç 176°³ÀÇ ÅäÅ« Ã³¸®·®À» ´Þ¼ºÇÒ ¼ö ÀÖÀ¸¸ç, ÅäÅ«ÀÇ Áö¿¬ ½Ã°£À» 50ms ÀÌÇϷΠÀ¯ÁöÇÒ ¼ö ÀÖ´Ù. ¾Æ·¡ ±×¸² 1¿¡¼­´Â 12¸¸ 8õ °³ÀÇ ÅäÅ« ÄÁÅؽºÆ® ±æÀ̸¦ ¶ó¸¶ 3.1 8B ¸ðµ¨·Î Áö¿øÇÒ ¶§ Áö¿¬ ½Ã°£ÀÌ 100ms ÀÌÇϷΠÀ¯ÁöµÉ ¼ö ÀÖÀ½À» È®ÀÎÇÒ ¼ö ÀÖ´Ù.

ÀÎÅÚ ÄÚ¾î Ultra ÇÁ·Î¼¼¼­¿Í ÀÎÅÚ ¾ÆÅ© ±×·¡ÇÈÀ̠žÀçµÈ AI PC´Â Å¬¶óÀ̾ðÆ®¿Í ¿§Áö¿¡¼­ ¶Ù¾î³­ ¿Âµð¹ÙÀ̽º AI Ã߷Р¼º´ÉÀ» Á¦°øÇÑ´Ù. ÀÎÅÚ ÄÚ¾î Ç÷§ÆûÀÇ NPU¿Í ¾ÆÅ© GPUÀÇ ÀÎÅÚ Xe ¸ÅÆ®¸¯½º ÀͽºÅټǠ°¡¼Ó°ú °°Àº Æ¯È­µÈ AI Çϵå¿þ¾î¸¦ ÅëÇØ AI PC¿¡¼­ °æ·®È­µÈ ÆÄÀÎÆ©´× ¹× ¾ÖÇø®ÄÉÀ̼Ǡ¸ÂÃãÈ­°¡ ±× ¾î´À ¶§º¸´Ù ½¬¿öÁ³´Ù.

·ÎÄ࿬±¸ °³¹ßÀ» À§ÇØ ÆÄÀÌÅäÄ¡ ¹× ÀÎÅÚ ÆÄÀÌÅäÄ¡ ÀͽºÅټǰú °°Àº °³¹æÇü »ýÅ°è ÇÁ·¹ÀÓ¿öÅ©°¡ È°¼ºÈ­µÇ°í °¡¼ÓÈ­µÇ¾ú´Ù. »ý»ê ´Ü°è¿¡¼­´Â ÀÎÅÚÀÇ ¿ÀǺñ³ë ÅøÅ°Æ®¸¦ È°¿ëÇÏ¿© AI PC¿¡¼­ È¿À²ÀûÀΠ¸ðµ¨ ¹èÆ÷ ¹× Ãß·ÐÀ» ¼öÇàÇÒ ¼ö ÀÖ´Ù. AI ¿öÅ©·Îµå´Â ÃÖÀûÀÇ ¼º´ÉÀ» À§ÇØ CPU, GPU, NPU °£¿¡ ¿øÈ°ÇÏ°Ô ¹èÆ÷µÉ ¼ö ÀÖ´Ù.

ÀÎÅÚÀÇ AI Ç÷§Æû°ú ¼Ö·ç¼ÇÀº ¿£ÅÍÇÁ¶óÀÌÁî¿ë AI RAG ¹èÆ÷¸¦ °¡¼ÓÈ­ÇÑ´Ù. OPEAÀǠ⸳ È¸¿ø Áß ÇϳªÀΠÀÎÅÚÀº ¿£ÅÍÇÁ¶óÀÌÁî¿ë AI¸¦ À§ÇÑ °³¹æÇü »ýÅ°蠱¸Ãà¿¡ ¾ÕÀå¼­°í ÀÖ´Ù. OPEA°¡ ¶ó¸¶3.1 ¸ðµ¨À» È°¿ëÇÏ¿© ¼º´ÉÀ» ÃÖÀûÈ­Çߴٴ Á¡ÀÌ ÁÖ¸ñÇÒ ¸¸ÇÏ´Ù.

OPEA´Â ¿£ÅÍÇÁ¶óÀÌÁî¿ë ¿ÀÇ ¼Ò½º, Ç¥ÁØÈ­ ¹× ¸ðµâÈ­µÈ À̱âÁ¾ RAG ÆÄÀÌÇÁ¶óÀÎÀ» Á¦°øÇÑ´Ù. À̴ ±¸¼º ¹× ¼³Á¤ °¡´ÉÇÑ ¸ÖƼ ÆÄÆ®³Ê ¿ä¼Ò¸¦ ±â¹ÝÀ¸·Î ±¸ÃàµÈ´Ù. ÀÌ Æò°¡¿¡¼­´Â OPEA Ã»»çÁø¿¡ ¸¶ÀÌÅ©·Î¼­ºñ½º°¡ ¹èÆ÷µÇ¾ú´Ù. E2E RAG ÆÄÀÌÇÁ¶óÀÎÀº LLM Ã߷п¡ ¶ó¸¶ 3.1À» »ç¿ëÇϸç, ÀÓº£µù¿¡´Â BAAI/bge-base-en-v1.5°¡ »ç¿ëµÇ°í, º¤ÅÍ DB¿¡´Â ·¹µð½º°¡ »ç¿ëµÇ¸ç, ¿ÀÄɽºÆ®·¹À̼ǿ¡´Â Äí¹ö³×Ƽ½º°¡ »ç¿ëµÈ´Ù.

Á¦¿Â ½Ã½ºÅÛ¿¡ 8°³ÀÇ °¡¿ìµð 2 Ä«µå¸¦ »ç¿ëÇÏ¿© OPEA ±â¹Ý ¿£ÅÍÇÁ¶óÀÌÁî¿ë RAG ÂüÁ¶ ¼Ö·ç¼ÇÀ» ½ÇÇàÇÑ ¼º´É µ¥ÀÌÅʹ ¾Æ·¡¿¡¼­ È®ÀÎÇÒ ¼ö ÀÖ´Ù. ÇØ´ç µ¥ÀÌÅÍ¿¡´Â ÀÓº£µùÀÇ P99 ¿£µå-Åõ-¿£µå Áö¿¬ ½Ã°£°ú ÃÊ´ç »ý¼ºµÈ ÅäÅ« ¼ö, ±×¸®°í LLM¿¡¼­ 128°³ÀÇ Äõ¸® ÅäÅ«¿¡ ´ëÇÑ ¼º´É µ¥ÀÌÅÍ°¡ Æ÷ÇԵǾî ÀÖ´Ù. ¶ÇÇÑ, LLM¿¡¼­ 1024°³ÀÇ ÀԷ ÅäÅ« ¹× Ãâ·Â ÅäÅ«¿¡ ´ëÇÑ ¼º´É µ¥ÀÌÅ͵µ Æ÷ÇԵǾî ÀÖ´Ù.

°á·ÐÀûÀ¸·Î, ÇöÀç ÀÎÅÚ AI PC ¹× µ¥ÀÌÅͼ¾ÅÍ AI Á¦Ç° Æ÷Æ®Æú¸®¿À¿Í ¼Ö·ç¼ÇÀº ¶ó¸¶ 3.1À» ½ÇÇàÇÒ ¼ö ÀÖÀ¸¸ç, OPEA´Â ÀÎÅÚ °¡¿ìµð 2 ¹× Á¦¿Â Á¦Ç°±º¿¡¼­ ¶ó¸¶ 3.1À» ÅëÇØ ¿ÏÀüÈ÷ È°¼ºÈ­µÇ°í ÀÖ´Ù.

ÀÎÅÚÀº »õ·Î¿î ¸ðµ¨°ú »ç¿ë »ç·Ê¸¦ Áö¿øÇϱâ À§ÇØ Áö¼ÓÀûÀ¸·Î ¼ÒÇÁÆ®¿þ¾î ÃÖÀûÈ­¸¦ ÁøÇàÇÏ°í ÀÖ´Ù.

ÆùƮŰ¿ì±â ÆùÆ®ÁÙÀ̱â ÇÁ¸°Æ®Çϱ⠸ÞÀϺ¸³»±â ½Å°íÇϱâ
Æ®À§ÅÍ ÆäÀ̽ººÏ ¹ÌÅõµ¥ÀÌ ¿äÁò ³×À̹ö ±¸±Û msn µÚ·Î°¡±â À§·Î°¡±â
ÀÌ ±â»ç¿¡ ´ëÇÑ ´ñ±Û À̾߱â (0)
ÀÚµ¿µî·Ï¹æÁö¿ë Äڵ带 ÀÔ·ÂÇϼ¼¿ä!   
È®ÀÎ
- 200ÀÚ±îÁö ¾²½Ç ¼ö ÀÖ½À´Ï´Ù. (ÇöÀç 0 byte / ÃÖ´ë 400byte)
- ¿å¼³µî ÀνŰø°Ý¼º ±ÛÀº »èÁ¦ ÇÕ´Ï´Ù. [¿î¿µ¿øÄ¢]
ÀÌ ±â»ç¿¡ ´ëÇÑ ´ñ±Û À̾߱â (0)
eÇÇÇÃ
[eÇÇÇÃ] ³ªÀÌ°¡ ´ë¼ö? °øÁ¶³Ãµ¿±â°è±â´É»ç Çʱâ½ÃÇè 100Á¡ ¸ÂÀº NCS±³À°»ý
[eÇÇÇÃ] ³ªÀÌ°¡ ´ë¼ö? °øÁ¶³Ãµ¿±â°è±â´É»ç Çʱâ½ÃÇè 100Á¡ ¸ÂÀº NCS±³À°»ý
³ªÀÌ°¡ µé¸é µé¼ö·Ï °øºÎÇϱⰡ ¾î·Æ´Ù´Â ¸»ÀÌ ÀÖ´Ù. ´õ±º´Ù³ª ½Ç¾÷ÀÎ »óÅ¿¡¼­ °øºÎÇÏ´Â °ÍÀ̶ó¸é ºÎ´ãÀÌ ´õ Ŭ ¼ö ¹Û¿¡ ¾ø´Ù.ÇÏÁö¸¸ À̸¦ ºñ¿ôµíÀÌ ±Øº¹ÇÏ°í, ¿ÃÇØ 2¿ù °øÁ¶³Ãµ¿±â´É»ç...

Á¦È£ : Å×Å©³ë¾Æ  |  ¹ßÇàÀÎ : ±èÇʱԠ |  ÆíÁýÀÎ : ±èÇʱԠ |  Ã»¼Ò³âº¸È£Ã¥ÀÓÀÚ : ¹Ú»ó±Ô
¼­¿ïÁö»ç : ¼­¿ïƯº°½Ã ±¸·Î±¸ µðÁöÅзÎ32°¡±æ 18, 7F | Á¦º¸ : it@technoa.co.kr
¹ßÇà¼Ò : Àü¶óºÏµµ ÀüÁֽà ¿Ï»ê±¸ Àü·æ6±æ 6 3F | µî·Ï¹øÈ£ : Àü¶óºÏµµ ¾Æ00057
µî·ÏÀÏÀÚ : 2008³â 1¿ù 14ÀÏ  |  ´ëÇ¥ÀüÈ­ : 070-8755-6291  |  FAX : 02-6280-9562
Copyright © 1999-2017 Å×Å©³ë¾Æ. All rights reserved. mail to technoa@technoa.co.kr